原創(chuàng)：HyperAI超神經(jīng)
關(guān)鍵詞：樂高分揀機(jī) 計(jì)算機(jī)視覺

如果你沒有玩過樂高，也可能聽過樂高。樂高集團(tuán)于 1932 年誕生于丹麥，此后很快，「LEGO」這個(gè)商標(biāo)就成為了優(yōu)質(zhì)玩具的代名詞。

1934 年，創(chuàng)始人 Ole Kirk Christiansen 用「LEGO」命名他的公司，圖為 LEGO 的 logo 變化

LEGO 旗下最為知名的樂高積木，于 1949 年問世，距今已有 70 年歷史。

論樂高分類有多難

樂高積木因復(fù)雜多樣、想象空間大等特點(diǎn)，對(duì)兒童充滿吸引力，令很多玩家癡迷，甚至成為很多教育機(jī)構(gòu)的教具。

但是，部件種類的豐富，也讓熱愛樂高的朋友常常陷入分類歸納的困擾中。就目前而言，樂高積木共有 119 個(gè)系列，111 種顏色，而每個(gè)系列就包含幾百個(gè)甚至幾千個(gè)部件。

曾有一位樂高愛好者，在 eBay 上的一次拍賣活動(dòng)中，收獲了 2 噸的樂高積木。剁手一時(shí)爽，但面對(duì)如此規(guī)模的樂高，他傻眼了，「要把這些都整理好，得花上幾輩子的時(shí)間。」他在博客中寫道。

這款霍格沃茲城堡包含 6020 塊積木磚塊

很多玩家對(duì)樂高的歸類整理問題也做了一番研究。有位對(duì)計(jì)算機(jī)視覺感興趣的澳大利亞軟件工程師 Daniel West，把這個(gè)令人「頭禿」的問題交給了 AI。

一位知乎答主對(duì) lego 分類整理頗有研究

世界上第一臺(tái)通用 AI 樂高分揀機(jī)

對(duì)于人類來說，只要看一眼積木塊，就能輕松識(shí)別它的形狀顏色等特征，甚至即使一兩歲的小孩子，在幾次嘗試后都可以區(qū)分例如 2×1 紅色積木塊、4×1 綠色積木塊和那些小鏈子積木之間的差異。

但是如果把分類歸納的任務(wù)交給機(jī)器去做呢？似乎就并沒那么簡單了。

早在 2011 年，日本的一位樂高愛好者 akiyuky，就為解決這個(gè)問題發(fā)明了樂高分揀機(jī)。不過他的數(shù)據(jù)庫圖像較少，分揀速度也較慢。

akiyuky 2011 年設(shè)計(jì)的樂高分揀機(jī)

受到 akiyuky 的啟發(fā)，同樣熱愛樂高與機(jī)器的澳大利亞軟件工程師 Daniel West 想設(shè)計(jì)一個(gè)更智能、分揀更迅速的樂高分揀機(jī)。

于是，他便花費(fèi)了兩年時(shí)間，用超過 10000 塊樂高積木，建成了一個(gè)通用的樂高積木分揀機(jī)，這臺(tái)分揀機(jī)借助計(jì)算機(jī)視覺算法，可以分揀出任何樂高零件。設(shè)備還帶有 6 個(gè)樂高電機(jī)和 9 個(gè)伺服電機(jī)，為傳送樂高零件的傳送帶和攪拌器提供動(dòng)力。

West 稱，這臺(tái)機(jī)器能夠?qū)?2927 種樂高積木分類到 18 個(gè)不同的歸納箱，而且每 2 秒就可以分一塊積木。這效率，很可以了吧？

雖然這不是世界上第一個(gè)樂高分類機(jī)，但 West 稱它為世界上第一臺(tái)通用樂高分類機(jī)，「因?yàn)樗褂昧俗钕冗M(jìn)的人工智能技術(shù)，能夠識(shí)別和分類任何已經(jīng)生產(chǎn)出來的樂高部件。」West 也計(jì)劃在將來發(fā)布該代碼。

分類工作，流程總共分三步

這臺(tái)能干的設(shè)備具體怎么工作呢？總體來說，似乎并不復(fù)雜，總共分三步。

第一步：放入積木。

將一大堆樂高積木倒進(jìn)機(jī)器頂部的滑槽中，然后將積木置于振動(dòng)帶，經(jīng)過晃動(dòng)，積木被分散成單獨(dú)的積木塊。

第二步：拍照分類。

積木塊由 Raspberry Pi （樹莓派）計(jì)算機(jī)傳送。Raspberry Pi 計(jì)算機(jī)包含一個(gè)照相機(jī)，當(dāng)積木經(jīng)過時(shí)，它會(huì)拍下一系列照片，然后把這些照片傳送到 CNN 模型 ResNet-50 上進(jìn)行分類。

第三步：歸類入箱

分類結(jié)果反饋到該設(shè)備后，輸送帶上的不同小閘門會(huì)把積木引導(dǎo)到所屬的箱子中。

技術(shù)實(shí)現(xiàn)「一波三折」

由于樂高的零部件有成千上百種類型，顏色多樣，并且從不同角度看形狀也不一樣。因此，收集正確的訓(xùn)練數(shù)據(jù)集是整個(gè)工作中最難的一部分。

Daniel West 最初讓設(shè)備運(yùn)行了幾天收集到了約 30 萬張未標(biāo)記的 LEGO 圖像

West 說，他起初試圖對(duì)樂高積木進(jìn)行模擬。他從 LDraw Part Library（一個(gè)讓發(fā)燒友可以虛擬構(gòu)建樂高的開源程序）中獲取了樂高零件的 3D 模型，并將其用免費(fèi)的動(dòng)畫軟件 Blender 渲染。

小哥哥 Twitter 上還展示了他用于訓(xùn)練 AI 模型的 3D 渲染圖像示例

然后他可以在不同的旋轉(zhuǎn)角度和顏色下模擬 3D 模型積木。這些單獨(dú)的圖像被收集到一個(gè)包含了超過 2500 萬張圖片的合成數(shù)據(jù)集中。

但令 West 感到沮喪的是，他的 AI 樂高分揀機(jī)用假圖像進(jìn)行訓(xùn)練后，卻無法識(shí)別出真正的部件。

他說：「我當(dāng)時(shí)幾乎完全放棄了這個(gè)項(xiàng)目。我花了幾個(gè)月的時(shí)間來實(shí)現(xiàn)一種，將合成圖像轉(zhuǎn)換成真實(shí)圖像的復(fù)雜方法，但收效甚微。」

之后，他轉(zhuǎn)向了另一種常用的技術(shù)，以幫助減少仿真與現(xiàn)實(shí)之間的差距：域隨機(jī)化。

域隨機(jī)化能夠訓(xùn)練模型識(shí)別更多的數(shù)據(jù)變化。該系統(tǒng)不僅學(xué)習(xí)了樂高積木的不同旋轉(zhuǎn)角度和顏色，還學(xué)會(huì)了考慮各種燈光效果，紋理和噪音。

為了進(jìn)一步提高樂高分類器的性能，West 還整合了一個(gè)更小的數(shù)據(jù)集，其中包含真實(shí)樂高部件的快照。

他說：「真實(shí)的數(shù)據(jù)集只包含我個(gè)人收藏中的零件，最終只有 544 種不同類型的零件。」 這些零件是在樂高系列中更常見的類型，而合成數(shù)據(jù)集則是一些較少見的類型。

Daniel West 的樂高分揀機(jī)高約 80 厘米，有 18 個(gè)分類箱

通過對(duì)這兩個(gè)數(shù)據(jù)集進(jìn)行訓(xùn)練，從理論上講，West 的樂高分揀機(jī)上的攝像機(jī)應(yīng)該能夠識(shí)別出它實(shí)際上從未見過的零件。不過，模型在不同數(shù)據(jù)集上的實(shí)際表現(xiàn)還是有差別的：在識(shí)別真實(shí)數(shù)據(jù)集中的零件時(shí)，準(zhǔn)確度為 93％，而識(shí)別合成數(shù)據(jù)集中的零件，準(zhǔn)確率則為 74％。

收集訓(xùn)練數(shù)據(jù)集不易，West 還特地撰寫了文章（原文鏈接：http://985.so/f5G8），詳細(xì)介紹了他如何制作 10 萬張的帶標(biāo)簽樂高積木訓(xùn)練圖片。文中提到，他主要利用樣本生成法、簡化流程以及使用 AI 輔助注釋來完成海量圖片標(biāo)記的任務(wù)。

夢(mèng)想借力 AI 走進(jìn)現(xiàn)實(shí)

West 熱愛樂高，他的夢(mèng)想也與樂高有關(guān)，他說，他將最終實(shí)現(xiàn)畢生的夢(mèng)想：建造一個(gè)真正能工作的樂高分揀機(jī)，同時(shí)獲得設(shè)計(jì)和部署人工智能系統(tǒng)的現(xiàn)實(shí)經(jīng)驗(yàn)。

Daniel West 在 YouTube 上發(fā)布的內(nèi)容都是樂高積木相關(guān)

興趣是最好的老師，也是最大的驅(qū)動(dòng)力。同時(shí)，技術(shù)的發(fā)展，也成為興趣、夢(mèng)想的助推器，讓大大小小的夢(mèng)想都能夠更加快速、完美地實(shí)現(xiàn)。如今，AI 都會(huì)幫你分揀樂高了，還有什么不能做的呢？

---

總結(jié)

以上是生活随笔為你收集整理的乐高太多没处放？解放女朋友双手，1 个顶 100 个的乐高智能分拣机来了！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。