【OpenVINO】京東星鏈-邊緣端實時推薦商品

　　在線上商城日趨智能化數(shù)字化的發(fā)展中，如何推進線下零售場景中的智能化轉(zhuǎn)變？伴隨著物聯(lián)網(wǎng)應(yīng)用進一步演進，越來越多實際場景要求數(shù)據(jù)本地存儲、隱私保護、低傳輸時延、低成本，邊緣計算技術(shù)因此迅猛發(fā)展。在2021 EdgeX中國挑戰(zhàn)賽中，京東星鏈團隊基于算法和邊緣計算技術(shù)，推出了邊緣端實時推薦商品應(yīng)用方案，本方案獲得OpenVINO開源組件特別獎。

　　本方案能夠幫助打造門店數(shù)字化智能營銷，同時提升用戶購物體驗和趣味性，豐富門店的商品數(shù)量，提高營銷轉(zhuǎn)化率。整個方案基于EdgeX API開發(fā)平臺，并使用開源工具OpenVINO進行視覺圖像處理，不僅極大地降低了開發(fā)過程的預(yù)算成本和時間成本，同時帶來高精度的識別率。下面簡單介紹本方案使用到的模塊和算法。

基于EdgeX API開發(fā)邊緣推薦系統(tǒng)

　　?采用前后端分離技術(shù)開發(fā)，前端使用vue，后端使用golang開發(fā)。

　　?基于edgeX2.0進行開發(fā)。

　　?使用openvino 2021.4.582版本上，進行人臉檢測模型，人臉屬性模型（人臉特征、年齡、性別、口罩）的開發(fā)。檢測加處理27ms以內(nèi)。

　　?開發(fā)后臺系統(tǒng)配置標簽功能，錄入SKU，和對應(yīng)的tag標簽，做ElasticSearch搜索和推薦，完成相關(guān)流程梳理和設(shè)計。

利用OpenVINO部署算法模型

　　模型選擇與優(yōu)化

　　?輕量的人臉檢測模型UltraFace

　　?基于ghostnet自研人臉屬性模型，實現(xiàn)單模型預(yù)測人臉特征、年齡、性別以及口罩，運算效率提高3倍。

　　模型移植與推理

　　?CPU&GPU：i7-7700HQ&HD Graphic 630

　　?模型轉(zhuǎn)換精度：FP32

　　?人臉檢測模型推理速度：10ms/張

　　?人臉屬性模型推理速度：10ms/張

　　?FP16與FP32速度基本一致

邊緣端-商品管理，支持離線推薦

　　在線下門店場景中，店員可以維護相關(guān)商品信息：

　　1.為了提高應(yīng)用響應(yīng)速度，使用ElasticSearch存儲，Skuid，圖片信息，價格，商品名稱，匹配標簽性別，年齡段信息。

　　2.支持商品批量導入，單獨增加，刪除功能。

　　3.提供本地查詢，推薦接口，供前端H5頁面進行訪問。

　　4.接受算法推送消息，并做更新判斷邏輯處理。

隱私協(xié)議-授權(quán)后采集并推薦

　　根據(jù)國家政策提供隱私協(xié)議授權(quán)：

　　采集人臉信息是為了方便推薦適合的商品信息，提升用戶的購物體驗。在獲得用戶的同意下，僅會用作本地實時推薦，不會存儲用戶的任何信息，不會上報到云端。

本地推薦刷新接口代碼

模型推理，metadata設(shè)備注冊

　　京東星鏈團隊帶來的邊緣端實時推薦方案，利用物聯(lián)網(wǎng)、人工智能、計算機視覺等先進技術(shù)，在靠近用戶側(cè)實現(xiàn)本地識別與云端算法推薦相結(jié)合，終端及云端協(xié)議適配、工作負載本地整合等功能，有效化解線下零售在數(shù)字化轉(zhuǎn)型過程中的困難與挑戰(zhàn)，幫助商家充分解決邊緣計算及物聯(lián)網(wǎng)平臺的技術(shù)難題。