基于視覺智能工業(yè)品外觀柔性檢測方案
引言/導讀
隨著工業(yè)制造2025計劃的實施，工業(yè)品質(zhì)量檢測效率成為制約整個生產(chǎn)鏈條的重要因素。傳統(tǒng)工業(yè)品產(chǎn)品外觀檢測，依賴“人眼+簡單工具”，實現(xiàn)對產(chǎn)品外觀的識別，剔除外觀有缺陷的產(chǎn)品，效率低下，漏檢率高。隨時AI技術快速發(fā)展，本測試床探索將視覺智能檢測技術應用于工業(yè)品外觀檢測。
一、關鍵詞
視覺智能，邊緣計算，薄膜類外觀質(zhì)量檢測
二、發(fā)起公司和主要聯(lián)系人聯(lián)系方式
華為技術有限公司 IT產(chǎn)品線 ，聯(lián)系人李超洋 13571870047 Email：Andy.lee@huawei.com
富士康科技集團，聯(lián)系人 鄭承斌：15989547752 Email：benjamincheng@foxconn.com
三、合作公司
深圳云天勵飛技術有限公司，聯(lián)系人董卿 13714505207, Email：dong.qing@intellif.com
軟通動力，聯(lián)系人 崔士勇13911161706，Email：sycuic@isoftstone.com
Intel公司，聯(lián)系人 張宇 13501081206， Email：richard.yu.zhang@itel.com
四、測試床項目目標和概述
所謂“機器視覺”，就是利用機器代替人眼來做測量和判斷。機器視覺系統(tǒng)相當于人類的眼睛，“眼睛”通過把“看”到的影像傳送到控制芯片，然后通過控制程序來進行事態(tài)的判斷。一個典型的機器視覺系統(tǒng)包括：光源、鏡頭、相機、圖像處理單元（或圖像捕獲卡）、圖像處理軟件、監(jiān)視器、通訊/輸入輸出單元等.通過機器視覺獲得的圖像，經(jīng)過AI智能算法的自動檢測，識別，最終完成“人的眼睛和大腦”的功能，在實際工業(yè)質(zhì)量檢測中，達到代替現(xiàn)有人力，提高檢測效率、提升檢測準確率。
現(xiàn)工業(yè)產(chǎn)品檢測，經(jīng)過很多年發(fā)展，但現(xiàn)有自動檢測的存在如下問題：
? 可檢測產(chǎn)品單一，不通用：設備高度專業(yè)化，只能在特定場景，對特定產(chǎn)品，特定的外觀問題進行檢測。例如，環(huán)境條件固定，只能檢測外觀尺寸，只能檢測玻璃制品等。
? 檢測精度低：檢測精度是固定的，不能實現(xiàn)“經(jīng)驗積累”：隨著檢測產(chǎn)品的增多，不斷提高檢測準確率。
? 檢測效率低：受檢測設備算力的影響（一般都基于工控機），在檢測效率較低，滯后日益進步的生產(chǎn)效率。
本測試床引入AI技術，充分利用邊緣計算的業(yè)務靈活性和業(yè)務實時性，并在公有云實現(xiàn)AI算法的訓練，充分利用公有云資源彈性調(diào)度、價格低廉的優(yōu)勢，以降低該方案的總體投入，以期達到可以規(guī)模復制的目標。
主要功能模塊說明：
1、 采集端：利用光電技術，獲取工業(yè)品外觀高質(zhì)量圖片。工業(yè)品，特別是薄膜類產(chǎn)品，具有容易彎曲、對光照敏感等特點，需要采用暗箱、強光等以達到高質(zhì)量圖像標準；
2、 邊緣計算節(jié)點：邊緣計算是工業(yè)檢測的大腦，通過AI算法對產(chǎn)品外觀圖片進行智能分析和識別，并自動對有缺陷產(chǎn)品進行標記；邊緣計算節(jié)點要求算力強、設備體積小、可以安裝在工廠質(zhì)檢室或者生產(chǎn)線附近；
3、 云端訓練：AI的訓練周期長，需要資源多，具有階段性；因此采用租賃公有云方式較為合適；可以根據(jù)訓練數(shù)據(jù)的大小、訓練算法的復雜度，靈活租賃對應資源，訓練完畢，獲取模型后，即可釋放訓練資源，以期達到節(jié)省成本的目標。
五、測試床解決方案架構
本測試床在傳統(tǒng)產(chǎn)品檢測基礎上，引入現(xiàn)在AI技術，依靠邊緣云和公有云聯(lián)動，工廠側線下推理和識別，公有云線上訓練，構成一個完整的測試方案。
(一) 測試床應用場景
本測試床項目，適用于外觀類產(chǎn)品質(zhì)量檢測，例如車輛框架、主承外觀，對部分容易產(chǎn)生變形的產(chǎn)品，如非剛性產(chǎn)品，例如紙張等，需要采用額外的輔助方法，獲得相對穩(wěn)定的圖像質(zhì)量。因此，本測試床推薦應用在剛性產(chǎn)品外觀檢測，或者部分形變較小的產(chǎn)品外觀檢測場景。
(二) 測試床重點技術
本測試床為提高檢測的魯棒性，引入了三項關鍵新技術，該技術在工業(yè)外觀檢測中比較新穎和獨創(chuàng)性。
一、采用邊緣計算新技術。邊緣計算融合了計算、存儲和網(wǎng)絡于一體，具有很高的產(chǎn)品環(huán)境適應度。本測試床邊緣采用引入深度學習AI技術，在邊緣側實現(xiàn)AI的推理，實現(xiàn)對產(chǎn)品檢測的自動化和智能化。邊緣智能計算的應用在業(yè)內(nèi)屬于首次。
二、引入AI技術。AI技術最大的價值是具有自動學習和進化功能，對檢測產(chǎn)品具有很強的魯棒性；而強的魯棒性，對本測試床的檢測范圍具有很大的價值。這點是傳統(tǒng)影像技術無法比擬的。
三、是引入公有云訓練AI。AI的訓練耗資巨大，對專業(yè)性要求很高，普通企業(yè)很難承受。通過引入公有云AI服務，可以把算法的訓練和模型設計交給專業(yè)的服務公司實現(xiàn)，通過租賃資源方式，完成云端的訓練；以降低AI的成本，獲取便捷的服務。
(三) 技術創(chuàng)新性及先進性
本測試采用的邊緣智能計算架構，為提升識別率引入的AI技術，都是在前工業(yè)檢測中首次應用，并根據(jù)工業(yè)現(xiàn)場進行了技術專門開發(fā)，具有獨特的價值。
(四) 測試床解決方案架構
本測試床解決方案整體架構如下，主要分為4個層面：
1、 邊緣計算平臺：主要在工廠側進行產(chǎn)品外觀產(chǎn)品的識別和處理；是AI算法的主要承載體；
2、 IaaS層：通過引入虛擬化和Docker技術，邏輯隔離各類業(yè)務應用，使應用具有更大的彈性，也更方便與工業(yè)云平臺對接；
3、 工業(yè)PaaS層：對邊緣前端和各類數(shù)據(jù)進行清理和管理的平臺，通過PaaS層，企業(yè)IT人員關注業(yè)務，把復雜的IT基礎設施的管理交給PaaS層；
4、 視覺業(yè)務應用層：深度學習的算法好服務。業(yè)務作為一個服務，提供給企業(yè)內(nèi)部各個業(yè)務單元使用。
六、預期成果
本測試床預期目標為：產(chǎn)品檢測率達到100%；完全代替人工檢測和識別部分，達到節(jié)省人力的目標。并通過技術創(chuàng)新，可應用在更多場景檢測，如各類薄膜，產(chǎn)品外觀等，柔性外觀檢測。
(一) 測試床的預期測試結果，針對測試項
本測試床預期檢測結果：產(chǎn)品檢測率達到100%，通過多種檢測技術的結合和運用，使產(chǎn)品檢測率達到100%，超越人工檢測的精度。
(二) 商業(yè)價值
本測試床通過引入邊緣計算和AI技術，將AI應用引入到工廠側，AI訓練算法采用成本低廉的公有云；通過對傳統(tǒng)工業(yè)的智能化改造，開創(chuàng)新的商業(yè)共贏模式，對在其他類似領域有非常好的啟發(fā)作用。
(三) 經(jīng)濟效益
本測試床根據(jù)富士康CPU貼膜檢測項目，商業(yè)價值估算如下：原人工檢測：20萬+/年，通過本測試床方案一次性設備投資10萬，云服務按需付費，節(jié)省50%的檢測投資；提升產(chǎn)品檢測效率和正確率，節(jié)省產(chǎn)品缺陷類引起的負資產(chǎn)。
(四) 社會價值
減少由于人工檢測引發(fā)的眼睛疲勞職業(yè)病，解放員工“眼睛”，減少和預防職業(yè)病；
七、測試床技術可行性
本測試床重點測試一下技術可行性：
1、工廠產(chǎn)品外觀圖像檢測和采集的可行性：采集端要求對光源、產(chǎn)品略微形變魯棒，采集圖像設備能排除產(chǎn)線其他因素干擾等；
2、AI算法的精度。AI算法精度直接影響到檢測的精度，需要實際驗證算法的精度和識別速度。
(一) 物理平臺
物理平臺包括前端產(chǎn)品圖像的采集端和邊緣計算平臺兩個部分。
產(chǎn)品圖集采集端：包括高速工業(yè)攝像機、專業(yè)光源、暗盒，運動軌道等輔助設備；
邊緣平臺：包括邊緣硬件平臺（含存儲、網(wǎng)絡設備），部分車間網(wǎng)絡環(huán)境較差，需要提供4G等WIFI傳輸方式；其他連接線等輔助設備。
(二) 軟件平臺
本測試床不單獨提供軟件平臺；其中AI算法包括在邊緣平臺中；
八、和AII技術的關系
(一) 與AII總體架構的關系
略
(二) AII安全（可選）
略
(三) 詳細清單（可選）
略
(四) 風險模型（可選）
測試床平臺中運算處理器采用嵌入式SoC，運行基于Linux操作系統(tǒng)的專用嵌入式軟件，保證了軟件系統(tǒng)的可靠性和安全性。系統(tǒng)采用分級用戶權限管理，數(shù)據(jù)和視頻存儲采用嵌入數(shù)據(jù)庫、數(shù)據(jù)加密和數(shù)據(jù)水印技術保證數(shù)據(jù)安全不可篡改
(五) 安全聯(lián)系人
不涉及
(六) 與已存在AII測試床的關系
無，首次申請。
九、交付件
實驗測試床一套：包括前端采集設備，邊緣計算平臺，以及內(nèi)嵌的AI算法軟件。
十、測試床使用者
相關單位可利用本測試床搭建或者改進，鼓勵在各個領域進行推廣和使用
十一、 知識產(chǎn)權說明
本測試床相關部件的產(chǎn)權歸屬各個申請企業(yè)，測試床方案和架構完全公開，鼓勵企業(yè)據(jù)此架構開展各領域應用。
十二、 部署，操作和訪問使用
可部署在互聯(lián)網(wǎng)，根據(jù)申請，明確使用權限。
十三、 資金
企業(yè)自籌資金
| 序號 | 工作內(nèi)容 | 需要資金（萬） |
| 1 | 前端采集設備（光源、相機等） | 5 |
| 2 | 邊緣智能節(jié)點 | 15 |
| 3 | 公有云平臺 | 5 |
| 4 | 算法聯(lián)調(diào) | 8 |
| 總計 | 33 |
十四、 時間軸
本測試床關鍵時間點：
2018年8月30日完成方案的工程效果測試；
2018年10月30日項目驗收和推廣
十五、 附加信息
本測試床可以應用在以下領域：如工業(yè)PCB板質(zhì)量檢測，如線路漏焊，虛焊，線路斷裂等；汽車鈑金等外觀質(zhì)量檢測，如檢測是否有劃痕，光滑度，完整度等。
聲明
本報告所載的材料和信息，包括但不限于文本、圖片、數(shù)據(jù)、觀點、建議，不構成法律建議，也不應替代律師意見。本報告所有材料或內(nèi)容的知識產(chǎn)權歸工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟所有（注明是引自其他方的內(nèi)容除外），并受法律保護。如需轉載，需聯(lián)系本聯(lián)盟并獲得授權許可。未經(jīng)授權許可，任何人不得將報告的全部或部分內(nèi)容以發(fā)布、轉載、匯編、轉讓、出售等方式使用，不得將報告的全部或部分內(nèi)容通過網(wǎng)絡方式傳播，不得在任何公開場合使用報告內(nèi)相關描述及相關數(shù)據(jù)圖表。違反上述聲明者，本聯(lián)盟將追究其相關法律責任。
AII微信公眾號
AII頭條號