基于RK3399平臺(tái)的3D人臉建模設(shè)計(jì)與實(shí)現(xiàn)

近幾年，醫(yī)美行業(yè)迅猛發(fā)展，但目前存在獲客成本高、轉(zhuǎn)化率低、潛在客戶整形前顧慮較多等痛點(diǎn)，因此基于行業(yè)現(xiàn)狀以及發(fā)展前景，開發(fā)一款基于人臉高精度掃描，得到客戶面部數(shù)字化彩色三維高還原人臉模型，通過(guò)對(duì)模型進(jìn)行面部特征分析，并按客戶需求進(jìn)行預(yù)整形并呈現(xiàn)最終效果的一體解決方案，才能很好地滿足消費(fèi)者的需求，帶來(lái)更好的應(yīng)用體驗(yàn)，占領(lǐng)魔鏡產(chǎn)品的中高端市場(chǎng)，提高用戶黏性，提升品牌認(rèn)知度。本項(xiàng)目采用瑞芯微新一代應(yīng)用處理器方案RK3399+DSP 芯片RK1608，RK3399 芯片是一款低功耗、高性能的處理器，集成雙核Cortex-A72+ 四核Cortex-A53 CPU，集成ARM NEON 技術(shù)，可增強(qiáng)較多的多媒體應(yīng)用體驗(yàn)。另外集成高性能Mali-T860 MP4 GPU，嵌入式3DGPU 使RK3399 完全兼容OpenGL ES1.1/2.0/3.0/3.1、OpenCL 和DirectX 11.1，并且?guī)в蠱MU 的專用二維引擎將最大限度地提高顯示性能并提供非常平穩(wěn)的操作。RK1608 用于對(duì)MIPI CSI 信號(hào)進(jìn)行DSP 加速等預(yù)處理。方案支持各主流的多媒體解碼、USB3.0、SD3.0、TYPE C 信源輸入；視頻解碼支持H.264/H.265/VP9 等，支持H.264/MVC/VP8 1080P@30Hz 視頻編碼，同時(shí)可支持多屏異顯。采用RTK 的codec ALC5616，功放采用ESMT 的模擬功放ESMT52050，同時(shí)該項(xiàng)目還具有網(wǎng)絡(luò)、多路USB、串口、RS232 接口等功能，完全滿足醫(yī)美行業(yè)需要的各種性能要求，使產(chǎn)品具備強(qiáng)勁的競(jìng)爭(zhēng)力。

1 3D人臉建模硬件設(shè)計(jì)

1.1 硬件系統(tǒng)架構(gòu)

本項(xiàng)目采用瑞芯微的RK3399+RK1608 集成方案，在核心處理模塊，RK3399 需要將3D CAMERA 采集的USB 數(shù)據(jù)解碼后再編碼成MIPI DSI 信號(hào)發(fā)送到RK1608,2D 攝像頭直接將MIPI CSI 信號(hào)送入RK1608,經(jīng)RK1608 做DSP 加速以及預(yù)處理后送入RK3399 做ISP 處理，此時(shí)需要通過(guò)HDMI OUT 轉(zhuǎn)LVDS 進(jìn)行屏顯。方案同時(shí)兼容3 個(gè)2D 攝像頭輸入設(shè)計(jì)，可擴(kuò)展性極強(qiáng)。在信號(hào)輸入部分，由于芯片內(nèi)部沒有集成PHY，網(wǎng)絡(luò)信號(hào)MDI/MDIX 經(jīng)PHY 芯片轉(zhuǎn)換成RMII 信號(hào)送入主芯片處理。3G/4G 信號(hào)需經(jīng)模塊轉(zhuǎn)換成USB 信號(hào)送入主芯片。SD 以及TYPEC 信號(hào)直接送入主芯片處理。USB 信號(hào)因兼容設(shè)計(jì)，部分經(jīng)過(guò)HUB 后送入主芯片。在信號(hào)輸出部分，本方案兼容兩路屏輸出（LVDS+EDP），支持雙屏異顯或者同顯，支持HDMI OUT；音頻信號(hào)，因RK3399 芯片接口只有I2S 輸出，需要外接CODEC芯片進(jìn)行轉(zhuǎn)換成模擬音頻信號(hào)，為兼容大功率要求，模擬音頻信號(hào)送入功放進(jìn)行放大后輸出，另外耳機(jī)以及MIC 均由codec 芯片進(jìn)行處理。系統(tǒng)框圖如圖1 所示。

圖1 RK3399系統(tǒng)框圖

1.2 系統(tǒng)電源框圖

系統(tǒng)采用單12 V 供電，通過(guò)PMIC RK808-D 產(chǎn)生核心系統(tǒng)部分供電，通過(guò)其他DCDC/LDO 產(chǎn)生其他部分供電，如SY837/SY838/SY8120 系列IC 等，TYPE C供電需要考慮外部3D 攝像頭瞬間抽電需求，因此預(yù)留單獨(dú)DCDC 供電給TYPE C 接口。整體系統(tǒng)電源框圖如圖2 所示。

1.3 核心攝像頭選型以及設(shè)計(jì)要素

本方案采用intel 3D 攝像頭+12MPFF 2D camera（sony IMX378），1 200萬(wàn)像素高清拍攝，100 萬(wàn)像素紋理貼圖，3 萬(wàn)深度信息，完美呈現(xiàn)人臉細(xì)節(jié)，實(shí)現(xiàn)3D 精準(zhǔn)建模。因RK3399 自帶ISP 處理，支持MIPI CSI 信號(hào)輸入，因此2D 攝像頭采用MIPI 接口接入到RK3399，考慮到整機(jī)尺寸較大，2D 攝像頭走線較長(zhǎng)，約360 mm，而MIPICSI信號(hào)因信號(hào)幅度低，容易受干擾，業(yè)內(nèi)普遍建議線材長(zhǎng)度不能長(zhǎng)于70mm。同時(shí)該攝像頭Sensor 功耗較大，對(duì)于MIPI 走線（軟FPC 銅線）要求非常高。因此我們對(duì)線材進(jìn)行了優(yōu)化，包括信號(hào)走線阻抗控制，供電走線線寬以及銅厚處理等措施確保2D 攝像頭信號(hào)質(zhì)量，考慮到人臉建模過(guò)程中的用戶體驗(yàn)感，我們?cè)O(shè)計(jì)2D 攝像頭的焦距在45 cm 左右。

3D 結(jié)構(gòu)光模組采用TYPE C 接口，因此RK3399 主板同樣采取TYPE C 接口以保證線材的通用性，支持正反插設(shè)計(jì)，支持固定電壓供電。在結(jié)構(gòu)設(shè)計(jì)上，需要保證3D 結(jié)構(gòu)光模組與2D 攝像頭的相對(duì)位置固定，并且3D結(jié)構(gòu)光模組的視角范圍要小于2D 攝像頭以確保3D結(jié)構(gòu)光的貼圖數(shù)據(jù)完整。

2 3D人臉建模軟件設(shè)計(jì)

2.1 軟件系統(tǒng)架構(gòu)

軟件系統(tǒng)采用安卓8.1，自主開發(fā)醫(yī)美整形APP，主要核心是將Camera 經(jīng)過(guò)RK1608 處理后的數(shù)據(jù)通過(guò)3D 建模算法形成3D 人臉模型。通過(guò)人臉模型可以進(jìn)行人臉美學(xué)分析、整形模擬。其次我們也可以導(dǎo)入客制化的AI 肌膚檢測(cè)SDK，實(shí)現(xiàn)肌膚檢測(cè)功能，并可推薦相關(guān)產(chǎn)品。除了整形模擬、人臉美學(xué)分析、AI 肌膚檢測(cè)，我們還自研商城模塊，可根據(jù)人臉?lè)治鼋Y(jié)果，智能推薦醫(yī)美商品，并可后臺(tái)配置，在線升級(jí)等功能。軟件系統(tǒng)架構(gòu)如圖3 所示。

圖3 軟件系統(tǒng)架構(gòu)

2.2 3D建模軟件流程圖

設(shè)備開機(jī)后，系統(tǒng)先進(jìn)行初始化以及自檢，正常后直接進(jìn)入3D 建模APP，此時(shí)2D、3D 攝像頭開啟，系統(tǒng)通過(guò)2D 攝像頭生成的預(yù)覽流實(shí)時(shí)偵測(cè)是否有人臉處于合適位置。當(dāng)系統(tǒng)檢測(cè)到人臉處于合適位置時(shí)，提示用戶可以開始建模，用戶點(diǎn)擊確認(rèn)后，系統(tǒng)打開補(bǔ)光燈，同時(shí)開始掃描用戶人臉數(shù)據(jù)，采樣頻率為30 Hz，待掃描完成后系統(tǒng)會(huì)將精確的2D/3D 數(shù)據(jù)進(jìn)行貼圖，生成人臉3D 數(shù)據(jù)模型，接下來(lái)用戶就可以根據(jù)3D 模型做整形模擬分析等。流程圖如下圖4 所示。

圖4 3D建模軟件流程

3 結(jié)束語(yǔ)

隨著大家對(duì)更高生活品質(zhì)的要求，醫(yī)美市場(chǎng)前景非常廣闊，本文簡(jiǎn)要介紹了醫(yī)美魔鏡的市場(chǎng)現(xiàn)狀以及行業(yè)痛點(diǎn)，詳細(xì)闡述了通過(guò)RK3399 平臺(tái)開發(fā)來(lái)實(shí)現(xiàn)3D 人臉建模設(shè)計(jì)的設(shè)計(jì)流程以及注意要素，對(duì)后續(xù)其他品類醫(yī)美魔鏡開發(fā)具備一定借鑒意義。

（本文來(lái)源于《電子產(chǎn)品世界》雜志2023年6月期）