在短短幾年內(nèi)，深度學(xué)習(xí)軟件已經(jīng)比任何傳統(tǒng)算法可以更好地對(duì)圖像進(jìn)行分類(lèi)處理，而且可能很快就可以超越人工檢查。
近年來(lái)，寵物食品制造商已經(jīng)使用機(jī)器視覺(jué)軟件來(lái)驗(yàn)證狗和貓的食品包裝上是否存在獨(dú)特的字符、代碼、顏色和圖形。然而，現(xiàn)在這些公司可以通過(guò)使用深度學(xué)習(xí)視覺(jué)軟件驗(yàn)證包裝上是否存在狗或貓圖像來(lái)補(bǔ)充這一過(guò)程。
與傳統(tǒng)的圖像處理軟件(依賴(lài)于特定任務(wù)的算法)不同，深度學(xué)習(xí)軟件使用多層神經(jīng)自學(xué)習(xí)算法網(wǎng)絡(luò)，根據(jù)人類(lèi)檢查員標(biāo)記的圖像來(lái)識(shí)別好圖像和壞圖像。這些數(shù)據(jù)集通常包含每個(gè)缺陷類(lèi)型至少100個(gè)圖像，通過(guò)網(wǎng)絡(luò)提供，以創(chuàng)建一個(gè)模型，對(duì)每個(gè)輸入圖像中的對(duì)象進(jìn)行分類(lèi)，并確保高水平的可預(yù)測(cè)性。
為了驗(yàn)證寵物食品包裝上的特定動(dòng)物照片，復(fù)雜的神經(jīng)網(wǎng)絡(luò)必須在訓(xùn)練階段后的幾個(gè)層次上模仿人類(lèi)的判斷。在高層算法專(zhuān)注于更復(fù)雜的特征（如面部，四肢，爪子和尾巴）之前，低層算法會(huì)檢查圖像是否有簡(jiǎn)單的形狀，如邊緣。然后，其他高層算法可以識(shí)別所有照片變形、背景、光照條件、視點(diǎn)和障礙物。最后，頂層算法給出了圖像中動(dòng)物類(lèi)型的概率，并驗(yàn)證它是否存在于特定的動(dòng)物食品包裝上。所有四個(gè)步驟都在0.5到1秒內(nèi)完成。
Cognex公司視覺(jué)軟件營(yíng)銷(xiāo)總監(jiān)John Petry解釋說(shuō):“許多節(jié)點(diǎn)組成每個(gè)神經(jīng)網(wǎng)絡(luò)層，每個(gè)節(jié)點(diǎn)做出一個(gè)單一的決定，它們一起識(shí)別所有類(lèi)型的圖像模式，并對(duì)圖像的好壞做出判斷。”
用于機(jī)器視覺(jué)的深度學(xué)習(xí)軟件已經(jīng)存在了十多年，但直到最近幾年才變得對(duì)用戶(hù)友好和可行。在這短短的時(shí)間內(nèi)，幾個(gè)行業(yè)的制造商已經(jīng)開(kāi)始將其應(yīng)用于各種各樣的領(lǐng)域，如檢測(cè)手術(shù)器械上的焊接水坑、驗(yàn)證汽車(chē)座椅組件中多個(gè)組件的存在，以及識(shí)別反光金屬表面上的不同缺陷。
軟件供應(yīng)商表示，這些例子代表著第二次機(jī)器視覺(jué)革命的開(kāi)始。深度學(xué)習(xí)不僅對(duì)機(jī)器視覺(jué)的各個(gè)方面都有積極的影響——比如精度、相機(jī)性能和燈光控制——而且這種技術(shù)可以完成過(guò)去難以完成或需要太多投資的應(yīng)用。
起源與開(kāi)放
深度學(xué)習(xí)的概念對(duì)于機(jī)器視覺(jué)來(lái)說(shuō)相對(duì)較新，但對(duì)于機(jī)器學(xué)習(xí)來(lái)說(shuō)絕對(duì)不是新概念。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種特殊類(lèi)型，是人工智能的一種。
丹佛的集成商Artemis Vision總裁Tom Brennan說(shuō)道：“用于深度學(xué)習(xí)的當(dāng)前神經(jīng)網(wǎng)絡(luò)算法非常好，但如果你使用圖靈測(cè)試作為晴雨表，它們還沒(méi)有達(dá)到人工智能的水平，目前深度學(xué)習(xí)在一些醫(yī)療設(shè)備和制藥應(yīng)用得到了應(yīng)用。”
Brennan說(shuō)：“圖靈測(cè)試要求機(jī)器或技術(shù)表現(xiàn)出與人類(lèi)相當(dāng)?shù)男袨?，人工智能?jí)別的算法可以直接響應(yīng)人類(lèi)智能的任何問(wèn)題。
最初的計(jì)算機(jī)視覺(jué)深度學(xué)習(xí)架構(gòu)是由Kunihiko Fukushima在20世紀(jì)80年代引入的新認(rèn)知。作為一種人工神經(jīng)網(wǎng)絡(luò)，neocognitron已被用于手寫(xiě)字符和模式識(shí)別任務(wù)，并作為通常用于分析視覺(jué)圖像的更復(fù)雜神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。
開(kāi)源深度學(xué)習(xí)軟件最早出現(xiàn)在20世紀(jì)90年代，當(dāng)時(shí)出現(xiàn)了許多關(guān)鍵的算法突破。從那時(shí)起，計(jì)算機(jī)科學(xué)家已經(jīng)能夠更好地利用巨大的計(jì)算能力和數(shù)據(jù)，這對(duì)神經(jīng)系統(tǒng)的形成至關(guān)重要網(wǎng)絡(luò)很好地工作。網(wǎng)上可用的開(kāi)源軟件包括C/ c++和Java庫(kù)、框架和工具包。
Cyth Systems首席執(zhí)行官Andy Long解釋說(shuō):“十年前，當(dāng)深度學(xué)習(xí)軟件和相關(guān)硬件的能力遠(yuǎn)遠(yuǎn)不夠時(shí)，培訓(xùn)軟件進(jìn)行深度學(xué)習(xí)需要大約兩周的時(shí)間。到2014年，這花了大約兩天時(shí)間，現(xiàn)在不到一天?！?/span>
雄心勃勃的集成商和制造商傾向于從開(kāi)源軟件開(kāi)始，因?yàn)樗恍枰S可或特許權(quán)使用費(fèi)。在缺點(diǎn)方面，供應(yīng)商提供的技術(shù)支持很少，在網(wǎng)絡(luò)培訓(xùn)開(kāi)始之前，最終用戶(hù)必須仔細(xì)地對(duì)幾百到幾千張數(shù)據(jù)集圖像進(jìn)行分類(lèi)。
“Petry指出:“使用開(kāi)源軟件開(kāi)始深度學(xué)習(xí)實(shí)踐的公司需要一個(gè)真正專(zhuān)家，比如工程學(xué)博士。”即使這樣，用戶(hù)也很容易花6到12個(gè)月的時(shí)間來(lái)獲得適合應(yīng)用程序的軟件。還有一個(gè)問(wèn)題是，當(dāng)需要檢查不同的零件或裝配過(guò)程發(fā)生變化時(shí)，必須重做軟件。
Brennan說(shuō)，Artemis在兩個(gè)深度學(xué)習(xí)應(yīng)用程序中使用了開(kāi)源軟件。在這兩種情況下，Artemis的工程師都需要對(duì)軟件進(jìn)行“大約2%”的修改和微調(diào)，以完全適應(yīng)每個(gè)應(yīng)用程序。
深度學(xué)習(xí)適用于機(jī)器視覺(jué)
隨著制造商需要更智能，準(zhǔn)確和可重復(fù)的視覺(jué)系統(tǒng)，深度學(xué)習(xí)軟件越來(lái)越受歡迎。終端用戶(hù)最收益的是軟件可以在幾分鐘內(nèi)自動(dòng)編程視覺(jué)系統(tǒng)。
深度學(xué)習(xí)最適合涉及可變形對(duì)象而非剛性對(duì)象的應(yīng)用。另一個(gè)好的應(yīng)用是驗(yàn)證在裝配體中存在顏色和紋理變化的許多部件。此外，傳統(tǒng)軟件要求被檢部件具有特定的公差范圍，而深度學(xué)習(xí)最好由最大且最清晰標(biāo)記的好的和壞的部分圖像數(shù)據(jù)集提供。
雖然深度學(xué)習(xí)通常被認(rèn)為是化妝品檢驗(yàn)應(yīng)用，但Petry說(shuō)，它也非常擅長(zhǎng)確認(rèn)試劑盒中存在多個(gè)物品。例如，確保手術(shù)導(dǎo)管是醫(yī)療套件的一部分，而不管導(dǎo)管位于何處或其對(duì)相機(jī)的視角如何。
“從本質(zhì)上講，深度學(xué)習(xí)是應(yīng)用統(tǒng)計(jì)學(xué)的一項(xiàng)重要工作，”布倫南說(shuō)。 “[神經(jīng)網(wǎng)絡(luò)中]每個(gè)節(jié)點(diǎn)的任務(wù)是統(tǒng)計(jì)地確定與好的或壞的部分最相關(guān)的圖像數(shù)據(jù)。神經(jīng)算法本身并不聰明，但它學(xué)會(huì)了以某種方式執(zhí)行預(yù)處理操作，以幫助軟件產(chǎn)生與人們告訴它正確的結(jié)果相匹配的結(jié)果?！?/span>
供應(yīng)商表示，對(duì)許多公司而言，深度學(xué)習(xí)已從實(shí)驗(yàn)階段進(jìn)入體驗(yàn)階段。這些制造商已經(jīng)親身體會(huì)到，并不是每個(gè)應(yīng)用程序都適合進(jìn)行深度學(xué)習(xí)，深度學(xué)習(xí)也不是能夠解決所有視覺(jué)應(yīng)用程序問(wèn)題。
最終用戶(hù)通常希望對(duì)特定的應(yīng)用程序使用深度學(xué)習(xí)。然而，供應(yīng)商知道，為了確定這是最佳選擇，需要進(jìn)行幾項(xiàng)測(cè)試。軟件供應(yīng)商表示，深度學(xué)習(xí)軟件比標(biāo)準(zhǔn)軟件靈活得多。布倫南對(duì)此表示贊同，尤其是在照明方面。他說(shuō)，深度學(xué)習(xí)能更好地通過(guò)降低圖像的可變性來(lái)控制圖像中的光線(xiàn)。
“他指出:“神經(jīng)網(wǎng)絡(luò)算法可以在明亮或昏暗的光線(xiàn)下分辨出好的和壞的圖像?！薄八麄兡軐W(xué)會(huì)識(shí)別這些光線(xiàn)的差異并不重要，并能準(zhǔn)確地對(duì)好的和壞的部分進(jìn)行分類(lèi)?！?/span>
Teledyne Dalsa亞太區(qū)技術(shù)總監(jiān)Yvon Bouchard表示，深度學(xué)習(xí)主要用于確保整個(gè)裝配過(guò)程的質(zhì)量，尤其是零件精加工和最終表面檢測(cè)等任務(wù)。有時(shí)它也被用來(lái)幫助“姿態(tài)估計(jì)”，或估計(jì)一個(gè)物體的位置和方向。這適用于組裝的部件可能沒(méi)有固定或在操作之前需要確定部件的方向。
Teledyne Dalsa的Sherlock 8.0軟件是一種快速應(yīng)用程序開(kāi)發(fā)工具，它使用傳統(tǒng)的圖像處理功能，并具有深入的學(xué)習(xí)選項(xiàng)。該公司還為制造商獨(dú)特而苛刻的視覺(jué)應(yīng)用開(kāi)發(fā)定制軟件和優(yōu)化的深度學(xué)習(xí)模型。
“Sherlock軟件更適合那些想要在一個(gè)簡(jiǎn)化基本視覺(jué)和深度學(xué)習(xí)過(guò)程的環(huán)境中進(jìn)行自己培訓(xùn)的用戶(hù)，”Bouchard解釋道?！瓣P(guān)鍵在于，該軟件允許終端用戶(hù)訪問(wèn)所有標(biāo)準(zhǔn)工具，并進(jìn)行深度學(xué)習(xí)，以生成特定的解決方案。在許多應(yīng)用中，傳統(tǒng)的視覺(jué)工具執(zhí)行部分檢查任務(wù)，而深度學(xué)習(xí)處理檢查中難以編碼的部分?！?/span>
Sherlock軟件與帶有單色或彩色格式成像儀的區(qū)域和線(xiàn)掃描相機(jī)兼容。它直接連接到火線(xiàn)，GigE和USB攝像頭。
Cyth Systems早在2008年就引入了神經(jīng)視覺(jué)（NV）軟件的第一個(gè)版本，但由于當(dāng)時(shí)的硬件和技術(shù)限制，它沒(méi)有像公司所希望的那樣執(zhí)行。然而到了2014年，第三代NV被開(kāi)發(fā)出來(lái)并證明能夠更好地解決復(fù)雜的視覺(jué)問(wèn)題。今天，近80％的Cyth客戶(hù)在他們的應(yīng)用程序中使用深度學(xué)習(xí)。
Long表示，這些客戶(hù)包括汽車(chē)，食品，航空航天，白色家電和電子產(chǎn)品制造商。后兩者使用深度學(xué)習(xí)進(jìn)行裝配驗(yàn)證，而航空航天公司則依靠它來(lái)確保無(wú)瑕疵的座椅和發(fā)動(dòng)機(jī)。
“幾年前，有機(jī)食品種植者開(kāi)始使用我們?cè)谠擃I(lǐng)域的深度學(xué)習(xí)軟件來(lái)更好地分類(lèi)其顏色變化過(guò)多的水果和蔬菜，”Long說(shuō)。 “在汽車(chē)行業(yè)，一位客戶(hù)使用深度學(xué)習(xí)來(lái)驗(yàn)證每個(gè)座椅組件是否與正確的車(chē)輛一起使用。有些座椅的頭枕上有一個(gè)麥克風(fēng)，麥克風(fēng)在頭枕的每張訓(xùn)練照片上都有圓圈，因此軟件知道要查找什么?！?/span>
電子產(chǎn)品客戶(hù)使用深度學(xué)習(xí)來(lái)組裝和分類(lèi)PCB，電阻器和晶體管。食品制造商依賴(lài)它，因此確保包裝始終具有最佳美觀并包含正確的食品。
在醫(yī)學(xué)領(lǐng)域，Artemis開(kāi)發(fā)了一種深度學(xué)習(xí)應(yīng)用程序，以幫助制造商檢測(cè)焊接中的攪拌，該焊接將金屬銷(xiāo)連接到手術(shù)工具的末端鉗口。該工具密封容器以防止出血。
焊接在小而粗糙的表面區(qū)域上手動(dòng)完成，并在使用深度學(xué)習(xí)軟件之前通過(guò)標(biāo)準(zhǔn)機(jī)器視覺(jué)進(jìn)行驗(yàn)證。兩次檢查都在一個(gè)小型測(cè)試工作站中進(jìn)行。
另一項(xiàng)Artemis項(xiàng)目涉及使用深度學(xué)習(xí)軟件來(lái)檢測(cè)玻璃瓶中的微小缺陷。制藥最終用戶(hù)需要完美無(wú)缺的小瓶，可以容納材料而不會(huì)有任何泄漏。 Brennan說(shuō)Artemis轉(zhuǎn)向深度學(xué)習(xí)，因?yàn)樗玫囟ㄎ粌H在某些角度下出現(xiàn)在光線(xiàn)下的缺陷。
“深度學(xué)習(xí)是確保產(chǎn)品質(zhì)量的好方法，例如在人們通常進(jìn)行某種檢查的應(yīng)用中，”P(pán)etry解釋道。 “在整個(gè)產(chǎn)品生產(chǎn)之后但在包裝之前驗(yàn)證組件也非常有用。例如，汽車(chē)前燈，徽章和輪子，裝滿(mǎn)各種食物或糖果的盒子，以及裝有支架，管子和夾子等物品的手術(shù)包。
兩年前，康耐視開(kāi)始提供ViDi深度學(xué)習(xí)庫(kù)，并于去年與其旗艦視覺(jué)軟件產(chǎn)品VisionPro一起推出。該套件有四個(gè)基本工具：化妝品檢查，零件定位，分類(lèi)和光學(xué)字符識(shí)別（OCR）。
康耐視ViDi可靠地讀取許多具有挑戰(zhàn)性的日期和批次代碼，以及浮雕和蝕刻文本。它還可以自動(dòng)檢查復(fù)雜的圖案織物并識(shí)別缺陷。
ViDi Blue-Locate算法定位零件，計(jì)算托盤(pán)上的半透明玻璃醫(yī)用瓶，并對(duì)套件和包進(jìn)行質(zhì)量控制檢查。 ViDi Red-通過(guò)了解目標(biāo)區(qū)域的不同外觀來(lái)分析缺陷或其他感興趣區(qū)域。
ViDi Green-Classify根據(jù)包裝識(shí)別產(chǎn)品，或?qū)山邮芑虿豢山邮艿漠惓＿M(jìn)行分類(lèi)，例如焊縫質(zhì)量。最后，ViDi Blue-Read使用OCR解碼嚴(yán)重變形，偏斜和蝕刻不良的代碼。其預(yù)訓(xùn)練字體庫(kù)可識(shí)別大多數(shù)文本，無(wú)需額外的編程或字體訓(xùn)練。
Teledyne的一位客戶(hù)最近使用深度學(xué)習(xí)軟件來(lái)解決自動(dòng)裝配過(guò)程中涉及小螺釘?shù)膯?wèn)題。由于螺釘未正確配合，公司會(huì)定期遇到停機(jī)，從而導(dǎo)致螺釘部分堵塞到組件中的交叉螺紋情況。
“雖然一些傳統(tǒng)的軟件可以檢查螺紋特性，但在這種情況下的問(wèn)題是螺釘尖端已經(jīng)在主體上經(jīng)過(guò)模具和圓錐形尖頭穿過(guò)，”Bouchard說(shuō)。 “深度學(xué)習(xí)是一個(gè)更好的選擇，因?yàn)榧舛说倪^(guò)渡區(qū)域可以有無(wú)數(shù)個(gè)可能的形狀。視覺(jué)系統(tǒng)可以顯示成千上萬(wàn)個(gè)好的和壞的螺絲尖的例子，這樣可以更容易地快速判斷它是好還是壞?！?/span>
挑戰(zhàn)與未來(lái)
深度學(xué)習(xí)給最終用戶(hù)帶來(lái)了挑戰(zhàn)，而傳統(tǒng)機(jī)器視覺(jué)軟件無(wú)法輕松解決這些挑戰(zhàn)。 Bouchard表示，大多數(shù)用戶(hù)缺乏對(duì)深度學(xué)習(xí)取得成功所需要的理解。
“到目前為止，主要問(wèn)題是缺乏高質(zhì)量，適當(dāng)分類(lèi)的圖像，”Bouchard說(shuō)。 “典型的深度學(xué)習(xí)應(yīng)用程序需要數(shù)百甚至數(shù)千個(gè)圖像樣本。在更困難的情況下或自定義應(yīng)用程序中，訓(xùn)練模型可能需要多達(dá)一百萬(wàn)或更多的圖像樣本?！?/span>
龍說(shuō)，制造商對(duì)深度學(xué)習(xí)的期望是理想主義和現(xiàn)實(shí)主義的混合體。這就是他為每個(gè)客戶(hù)提前解釋其限制和基本流程的原因。 Cyth還對(duì)每個(gè)應(yīng)用程序進(jìn)行了視覺(jué)研究，以確定它是否真的是深度學(xué)習(xí)的候選者。
“該公司向我們發(fā)送了要拍照的部件，我們會(huì)為每個(gè)部件生成50到100個(gè)好的和壞的圖像，”Long解釋道。 “在我們的測(cè)試之后，我們讓他們知道基于假陰性和誤報(bào)百分比的深度學(xué)習(xí)的成功概率。太多的假陰性令人討厭，但過(guò)多的誤報(bào)會(huì)導(dǎo)致產(chǎn)品質(zhì)量問(wèn)題?！?/span>
與其他軟件不同，Cyth的神經(jīng)視覺(jué)平臺(tái)從生產(chǎn)環(huán)境中捕獲圖像，并將這些標(biāo)記的數(shù)據(jù)集發(fā)送到云進(jìn)行離線(xiàn)處理。然后將圖像發(fā)送回PC，并對(duì)軟件進(jìn)行培訓(xùn)，以便對(duì)裝配線(xiàn)上的零件進(jìn)行深度學(xué)習(xí)檢查。
Long說(shuō)這些圖像是通過(guò)紅外線(xiàn)，3D，線(xiàn)掃描或智能相機(jī)拍攝的。該軟件僅需25毫秒來(lái)分析圖像并確定部件是好（綠色檢查）還是壞（紅叉）。
根據(jù)Long的說(shuō)法，任何擁有產(chǎn)品知識(shí)的人都可以訓(xùn)練系統(tǒng)運(yùn)行，并且始終如一
提供可重復(fù)的結(jié)果。該軟件還允許最終用戶(hù)輕松推出新應(yīng)用程序，引用舊應(yīng)用程序并訪問(wèn)所有檢查結(jié)果以進(jìn)行統(tǒng)計(jì)分析。
Inspekto的S70自動(dòng)機(jī)器視覺(jué)系統(tǒng)使用一系列深度學(xué)習(xí)引擎作為其Plug and Inspect軟件的一部分。它可以快速（30到60分鐘）并且經(jīng)濟(jì)高效地安裝和設(shè)置，無(wú)需任何階段的集成商或人工智能專(zhuān)家。緊湊型系統(tǒng)包括先進(jìn)的視覺(jué)傳感器和鏡頭，照明設(shè)備和一組可調(diào)節(jié)臂。
最終用戶(hù)不需要設(shè)置任何質(zhì)量保證參數(shù)，因?yàn)橄到y(tǒng)自動(dòng)適應(yīng)檢查項(xiàng)目。此外，由于該系統(tǒng)與生產(chǎn)線(xiàn)整合，并且足夠堅(jiān)固，不受任何環(huán)境和環(huán)境影響，因此無(wú)需將特殊結(jié)構(gòu)放置到位。
該系統(tǒng)已經(jīng)在歐洲各地的工廠中使用，并且每天都要為Mahle等領(lǐng)先的汽車(chē)零部件制造商檢查數(shù)十萬(wàn)種產(chǎn)品。 Inspekto的首席技術(shù)官Yonatan Hyatt表示，它提供了越來(lái)越多的應(yīng)用程序，包括完整的歸檔和可追溯性，并且足夠準(zhǔn)確，無(wú)需將產(chǎn)品脫機(jī)進(jìn)行檢查。此外，該系統(tǒng)可用于手動(dòng)裝配線(xiàn)，以確保操作員正確執(zhí)行每項(xiàng)任務(wù)。
“非自動(dòng)機(jī)器視覺(jué)系統(tǒng)的最終用戶(hù)沒(méi)有直接與視覺(jué)質(zhì)量保證解決方案（集成商）為生產(chǎn)線(xiàn)開(kāi)發(fā)，并且[可能]對(duì)當(dāng)代深度學(xué)習(xí)軟件的期望有限，”首席執(zhí)行官Harel Boren說(shuō)。 Inspekto。 “但是，他們確實(shí)希望軟件[提供]集成商承諾的解決方案?；蛘呤褂蒙疃葘W(xué)習(xí)引擎陣列的自主視覺(jué)系統(tǒng)將徹底解決他們的問(wèn)題?！?/span>
文章來(lái)源：機(jī)器視覺(jué)網(wǎng)，犀靈機(jī)器人http://整理發(fā)布