【OpenVINO】京東星鏈-邊緣端實(shí)時(shí)推薦商品

　　在線上商城日趨智能化數(shù)字化的發(fā)展中，如何推進(jìn)線下零售場(chǎng)景中的智能化轉(zhuǎn)變？伴隨著物聯(lián)網(wǎng)應(yīng)用進(jìn)一步演進(jìn)，越來(lái)越多實(shí)際場(chǎng)景要求數(shù)據(jù)本地存儲(chǔ)、隱私保護(hù)、低傳輸時(shí)延、低成本，邊緣計(jì)算技術(shù)因此迅猛發(fā)展。在2021 EdgeX中國(guó)挑戰(zhàn)賽中，京東星鏈團(tuán)隊(duì)基于算法和邊緣計(jì)算技術(shù)，推出了邊緣端實(shí)時(shí)推薦商品應(yīng)用方案，本方案獲得OpenVINO開(kāi)源組件特別獎(jiǎng)。

　　本方案能夠幫助打造門(mén)店數(shù)字化智能營(yíng)銷(xiāo)，同時(shí)提升用戶購(gòu)物體驗(yàn)和趣味性，豐富門(mén)店的商品數(shù)量，提高營(yíng)銷(xiāo)轉(zhuǎn)化率。整個(gè)方案基于EdgeX API開(kāi)發(fā)平臺(tái)，并使用開(kāi)源工具OpenVINO進(jìn)行視覺(jué)圖像處理，不僅極大地降低了開(kāi)發(fā)過(guò)程的預(yù)算成本和時(shí)間成本，同時(shí)帶來(lái)高精度的識(shí)別率。下面簡(jiǎn)單介紹本方案使用到的模塊和算法。

基于EdgeX API開(kāi)發(fā)邊緣推薦系統(tǒng)

　　?采用前后端分離技術(shù)開(kāi)發(fā)，前端使用vue，后端使用golang開(kāi)發(fā)。

　　?基于edgeX2.0進(jìn)行開(kāi)發(fā)。

　　?使用openvino 2021.4.582版本上，進(jìn)行人臉檢測(cè)模型，人臉屬性模型（人臉特征、年齡、性別、口罩）的開(kāi)發(fā)。檢測(cè)加處理27ms以內(nèi)。

　　?開(kāi)發(fā)后臺(tái)系統(tǒng)配置標(biāo)簽功能，錄入SKU，和對(duì)應(yīng)的tag標(biāo)簽，做ElasticSearch搜索和推薦，完成相關(guān)流程梳理和設(shè)計(jì)。

利用OpenVINO部署算法模型

　　模型選擇與優(yōu)化

　　?輕量的人臉檢測(cè)模型UltraFace

　　?基于ghostnet自研人臉屬性模型，實(shí)現(xiàn)單模型預(yù)測(cè)人臉特征、年齡、性別以及口罩，運(yùn)算效率提高3倍。

　　模型移植與推理

　　?CPU&GPU：i7-7700HQ&HD Graphic 630

　　?模型轉(zhuǎn)換精度：FP32

　　?人臉檢測(cè)模型推理速度：10ms/張

　　?人臉屬性模型推理速度：10ms/張

　　?FP16與FP32速度基本一致

邊緣端-商品管理，支持離線推薦

　　在線下門(mén)店場(chǎng)景中，店員可以維護(hù)相關(guān)商品信息：

　　1.為了提高應(yīng)用響應(yīng)速度，使用ElasticSearch存儲(chǔ)，Skuid，圖片信息，價(jià)格，商品名稱，匹配標(biāo)簽性別，年齡段信息。

　　2.支持商品批量導(dǎo)入，單獨(dú)增加，刪除功能。

　　3.提供本地查詢，推薦接口，供前端H5頁(yè)面進(jìn)行訪問(wèn)。

　　4.接受算法推送消息，并做更新判斷邏輯處理。

隱私協(xié)議-授權(quán)后采集并推薦

　　根據(jù)國(guó)家政策提供隱私協(xié)議授權(quán)：

　　采集人臉信息是為了方便推薦適合的商品信息，提升用戶的購(gòu)物體驗(yàn)。在獲得用戶的同意下，僅會(huì)用作本地實(shí)時(shí)推薦，不會(huì)存儲(chǔ)用戶的任何信息，不會(huì)上報(bào)到云端。

本地推薦刷新接口代碼

模型推理，metadata設(shè)備注冊(cè)

　　京東星鏈團(tuán)隊(duì)帶來(lái)的邊緣端實(shí)時(shí)推薦方案，利用物聯(lián)網(wǎng)、人工智能、計(jì)算機(jī)視覺(jué)等先進(jìn)技術(shù)，在靠近用戶側(cè)實(shí)現(xiàn)本地識(shí)別與云端算法推薦相結(jié)合，終端及云端協(xié)議適配、工作負(fù)載本地整合等功能，有效化解線下零售在數(shù)字化轉(zhuǎn)型過(guò)程中的困難與挑戰(zhàn)，幫助商家充分解決邊緣計(jì)算及物聯(lián)網(wǎng)平臺(tái)的技術(shù)難題。