Fashion-MNIST 一周年 | Google NIPS最爱，还登上了Science
導語：本文回顧了Fashion-MNIST發布后的一年里在人工智能/機器學習學術圈和社區中所取得的進展。該數據集的初衷是替代MNIST，為機器學習提供一個新的基準集。一年里，Fashion-MNIST有超過250篇學術論文引用。來自Google, Cambridge, 北大, UCLA, Microsoft等250家研究機構橫跨38個國家的研究員在實驗中使用了這個數據集，他們的成果發表在NIPS、ICLR、ICML等頂會甚至Science等知名刊物上。
距離我2017年8月發布Fashion-MNIST數據集已經有一年的時間了。正如我在其README中寫到的那樣：Fashion-MNIST的目標是要替代經典數字MNIST數據集，幫助研究者更好的評測和理解機器學習算法。在過去的一年里，我看到ML/AI社區朝這個方向不斷前進著。越來越多的研究人員、工程師、學生和愛好者和初學者都愛上了這個數據集。
今天你可以在網上找到關于Fashion-MNIST數以千計的討論、代碼和教程。在Github，Fashion-MNIST已經獲得了超過4100顆星星，被引用在400多個代碼倉庫中，1000多條commits里和7000多個代碼片段中。在Google Scholar中，超過250篇學術論文使用或引用了Fashion-MNIST數據集。甚至連來自AAAS的「科學」(Science)雜志都引用了這個數據集。而在Kaggle上，這個數據集在數千個數據集中是名列前茅，并附有300多個Kernels。目前，所有主流的深度學習庫都內置了這個數據集：你只需要一行import，就可以直接使用它。
毫無疑問，Fashion-MNIST是一個非常成功的項目。在這里，我會對它在過去一年里所取得的重要成就做一個總結。
2017年8月的一天，那時我還在Zalando Research部門工作。我的上司讓我調研一把生成對抗網絡(GAN)并實現其中一兩個模型，借機熟悉一下。我很快就寫完并在MNIST數據集上做了測試。但我發現在MNIST上的生成結果似乎總是不錯，無論你用的網絡復雜度如何，參數設置如何。或許因為MNIST過于簡單？于是，我決定增加一些難度，把公司數據庫中的衣服圖片扔到網絡里去。很顯然，這就需要我重新寫一個用于輸入處理的pipeline：把圖片居中、調整白平衡、縮放等等，最后再載入到模型中。最終，我決定將圖片做離線處理后，存儲為MNIST的格式，省去了自己寫data loader。這就是Fashion-MNIST最初的第一個版本。
隨后的幾天里，我一直在玩這個新數據集，利用它做各種實驗。同時，我不斷改善它的圖片質量，并在Tensorflow, Keras中為它提供更通用的API接口。最終，我把它發布為公司內部的一個開源項目(inner source project)。在我的前同事Kashif Rasul和Lauri Apple的鼓勵下，我們最終決定把這個數據集發布到Github和arXiv上。為了在國際上擴大影響力，我也將數據集的說明翻譯成了中文和日文。剩下的事情可能大家都已經知道了：這個數據集最先被Reddit下的r/MachineLearning板塊討論，隨后迅速在HackerNews, Github，Twitter和Facebook上傳播開來。連續三天內，Fashion-MNIST成為Github上最熱門的開源項目之一。幾天后，甚至Yann LeCun本人都在他的Facebook主頁上發帖鼓勵大家嘗試這個新數據集。
在這次的經歷中，我想特別感謝我的前同事Lauri Apple的支持。Lauri是一位長期致力于開源事業的女性。在一開始，我的想法（采用Fashion-MNIST替換MNIST)遭到其他人的嘲笑和不理解，他們認為圈子里根本不會在乎這個數據集。這個時候，Lauri站了出來告訴我：那些真正做出改變的人永遠是那些相信改變的人(people who actually make change are the ones who believe that change is possible)。
在我今天寫這篇總結的時候，已經有超過260篇學術論文在實驗環節引用或使用了Fashion-MNIST數據集（根據截止9月18日的Google Scholar結果）。考慮到數據集僅僅發布1年，這個數量還是非常可觀的。經過一番篩選之后，我留下了其中247篇放在了一個Google表格里，大家可以自行查閱。那么這247篇論文出自誰之手，在哪發表，又研究了哪些問題？在下面，我會向大家做一個全面的介紹。
頂級的AI研究機構青睞Fashion-MNIST
下圖給出了247篇論文中按照機構的統計圖。如果一篇論文由多個機構合作完成，則在統計時每個機構都加1。而如果一篇論文中多個作者來自同一機構，則這一機構只加1。并且，我還把同組織的機構合并在一起，比如Google Research, Google Brain, Deep Mind合并為了Google；馬普（Max Planck Institute）旗下的信息所、智能所和量子光學所合并為Max Planck Institute。為了更加清晰的展示，論文數量小于3機構沒有在這里展示，但大家仍然可以在這里查看全部機構的統計列表。
在這個圖表中，我們不難發現來自北美、亞洲和歐洲地區頂尖的AI研究機構。在它們之中，Google以9篇使用Fashion-MNIST的論文位居榜首。其次是英國劍橋大學，7篇；IBM Research、加拿大蒙特利爾大學、北京大學和加州大學洛杉磯分校以6篇并列第三。中國方面，除北京大學外，中科院、南京大學、清華大學及京東也非常青睞Fashion-MNIST這個數據集。而在工業界，除了已經列出的Google, IBM Research和Microsoft，在完整列表中可以找到更多大家耳順能詳的公司Facebook (2篇), Telefónica Research (2篇) Uber (1篇), Apple (1篇), Samsung (1篇), 華為 (1篇) and Twitter (1篇)。同時，我還注意到有不少北美地區的機器視覺創業公司也在Fashion-MNIST數據集上做了非常有意思的研究，并發表了高質量的論文。
AI領域的競爭和合作
下圖展示了這些文章出自于哪些國家或地區。如果一個論文由多個國家或地區合作完成，則在統計時每個國家或地區時都加1。而如果一篇論文中多個作者來自同一國家或地區，則這一國家或地區只加1。為了更清晰的展示結果，論文數量小于4的國家或地區沒有在這里展示，但大家仍然可以在這里查看全部國家或地區的統計列表。
很明顯，美國以94篇引用Fashion-MNIST的論文的絕對多數占據了榜首，其次是中國44篇。加拿大、英國德國的研究人員也顯示了對這個數據集的濃厚興趣，分列第3，4，5位。榜上前5名的國家貢獻了大約50%的論文量。總體來講，共有來自38個國家的研究人員在他們的論文中使用了這個數據集。
盡管中美AI領域競爭激烈，但我們仍然看到兩國在AI研究領域中大量的合作。在過去的一年內，兩國共有10篇合作的論文使用了Fashion-MNIST數據集，高于任何其他兩國之間的合作。其次是英國和德國，共合作了4篇論文。完整的國家地區合作列表可以在這里看到。
我非常愿意看到更多的國家與國家之間在AI領域的合作。這也是Fashion-MNIST的使命之一：增加整個社區的凝聚力和多元化。特別是今天，當AI技術已經越出象牙塔，國與國之間的交流合作變得極為重要。
當然，論文不是靠數量而是靠質量取勝的。那么這些論文都是在哪里發表的呢？他們的質量又如何呢？下圖給出了按照會議和期刊的統計表。我只統計了過去一年中已經確定被正式錄取的論文，而那些正在審核狀態的論文并沒有在這個圖表中展示。完整的列表可以在這里查看。
大部分的論文都是在2018年涌現出來的，尤其是在諸如NIPS, ICLR, ICML等頂會。在NIPS 2018中，一共有17篇錄用的論文使用了Fashion-MNIST數據集。而2017年這個數字是：零。不過這顯而易見，因為在NIPS2017年的5月份的投稿截止時，Fashion-MNIST還沒有誕生。而在稍后一點的11月戒指的NIPS 2017 Workshop中，我們已經可以看到研究者在論文中使用了這個數據集。
除了在會議上發表，也有很多畢業論文和頂級期刊中引用到了Fashion-MNIST，其中知名的期刊包括：Journal of Machine Learning Research (2篇)，Neurocomputing(2篇)，Nature Communications (1篇), 和Science (1篇)！
Fashion-MNIST 在「科學」雜志中被引用
這其中最讓我驕傲的一篇論文引用，發表在Science科學雜志上。
在這篇題為“All-optical machine learning using diffractive deep neural networks”的Science論文中，一個來自加州大學洛杉磯分校的團隊建造了一個全光學的深度”神經”網絡，并且用3D打印機打印了出來。這個光學深度神經網絡功能上沒什么不同，它能對MNIST/Fashion-MNIST的圖像進行分類，只不過它的分類速度是——光速！
下圖展示了MNIST和Fashion-MNIST模型上5個不同的物理層。這些層可以被3D打印出來，而層上面的每個點都有著不同的功能：或是允許光子通過，或是直接把光子反射回去，這就好比神經元之間的連接。在下圖右側，就是一個打印出的3D打印的全光學神經網絡。
在實際分類時，這個3D打印的網絡被放在如下的儀器中。通過判斷在最后一層上光學信號最強的區域來獲得分類結果。
生成對抗網絡(GAN)近幾年一直是深度學習領域的研究重點，尤其是在圖像生成、圖像處理等應用領域，GAN經常能取得驚人的效果。也不難理解為什么GAN的研究員喜歡Fashion-MNIST這個數據集：它比較輕量；不需要重新寫data-loader；卻比MNIST包含更復雜的和多元的局部模式信息。對于圖像GAN的研究者來說，在打造一個新的算法時，第一個測試就是在MNIST和Fashion-MNIST上進行測試。下圖展示了247篇論文按照關鍵詞分類結果。很多論文作者沒有提供關鍵詞，對于這些論文，我在讀過Abstract和Related Work后，為這些論文手工總結了一些關鍵詞。為了更清晰的展示結果，論文數量小于5的關鍵詞沒有在這里展示，但大家仍然可以在這里查看全部關鍵詞的統計列表。
新的機器學習算法也喜歡使用Fashion-MNIST來做評測，例如膠囊網絡(Capsule Networks)。膠囊網絡自從發表以來就收到很多的討論：有不少人質疑膠囊網絡從設計上是否為MNIST做了特別的優化，而這種結構是否在其他數據集上仍然有效。不說大的ImageNet數據集，膠囊網絡是否在Fashion-MNIST上仍然有效呢？在過去的一年里，有9篇新的膠囊網絡的論文實驗中使用了Fashion-MNIST數據集。他們設計了更穩定的路由算法以確保空間特征能夠保留住。
在我發布Fashion-MNIST幾周后，我受邀到亞馬遜柏林辦公室做了一個演講。在問答環節，我被一個研究員問道，是否擔心Fashion-MNIST成為那些懶惰的研究員逃避現實問題的一個借口。畢竟，他們現在可以說自己的算法有了份”雙保險”（在兩個MNIST上驗證過了）。
這個社區從來沒有讓我失望，這些高質量的論文已經很好的證明了自己。而除了學術圈的論文，這個社區還找到了Fashion-MNIST另一個重要用途：教學。在網上你可以找到數以千計的討論、代碼和教程，尤其是在機器學習入門的第一講。Fashion-MNIST增加了整個社區的多元化：它吸引了很多年輕的AI（特別是女性）愛好者、學生甚至是藝術家和設計師。他們在Twitter上表示，第一眼看到這個數據集都會覺得非常可愛，因此很想動手實踐。在2018年9月，Google在中國舉辦的開發者大會上，來自Google的演講者使用Fashion-MNIST作為例子向在場的數百名參會者普及Keras深度學習庫和機器學習技術。而就在前幾天，2018年10月，Google Colab發布的TPU示例中，也使用了Fashion-MNIST作為演示的例子來展現TPU的超強算力。
人工智能的進步需要來自整個社區的共同努力。我很欣慰的看到在過去的一年里，Fashion-MNIST為這個社區做出了自己的貢獻：它不僅吸引了多元化背景的愛好者，也促進研究人員設計更嚴密更具說服力的實驗。所以無論你是研究員、學生、教授還是愛好者，無論你是想把Fashion-MNIST用在講座、論文、研討會、競賽還是培訓中，只要你喜歡，都可以去做。最重要的是享受技術帶來的樂趣，讓更多的人體驗到機器學習和人工智能的魅力。
附：作者Blog的原始英文版本地址：https://hanxiao.github.io
總結
以上是生活随笔為你收集整理的Fashion-MNIST 一周年 | Google NIPS最爱，还登上了Science的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Paxos和Raft的前世今生
- 下一篇： 腾讯Blade Team胡珀：IoT时代