大规模中文多模态评测基准MUGE发布
背景
近年來，大規模神經網絡模型以及預訓練等技術的成功實踐推動著計算機視覺和自然語言處理等領域快速發展，同時也推動了多模態表征學習的研究。2020年Jeff Dean就曾指出，多模態研究將會是未來研究一大趨勢。在國內，目前阿里巴巴達摩院智能計算實驗室也在深度探索中文多模態預訓練及超大規模預訓練，近期相繼推出了百億、千億和萬億參數M6模型[1]，實現了當前最大規模的多模態預訓練模型，并將其應用到各大下游任務，廣泛落地到搜索、推薦、服飾設計、智能文案等真實場景中。
然而，目前多模態領域的評測基準和數據集多以英文為主，如MSCOCO的Image Captioning[2]，VQA[3][4]，textVQA，VCR等，并且缺乏一個統一的評測基準讓研究人員可以全面評測自己的模型在不同場景以及不同任務類型的表現。當前中文領域的多模態公開數據集和榜單更是乏善可陳?？紤]到中文多模態領域的蓬勃發展，達摩院智能計算實驗室認知智能團隊推出了大規模中文多模態評測基準MUGE，擁有當前最大規模的中文多模態評測數據集，覆蓋多種類型的任務，包括圖文描述、基于文本的圖像生成、跨模態檢索等，對模型展開了全方位的評測，幫助研究人員對自己的模型得到更好的理解。
MUGE介紹
MUGE全稱是Multimodal Understanding and Generation Evaluation Benchmark，首期主要開放中文多模態相關下游任務數據集和評測榜單，旨在幫助中文多模態研究人員全方位評估算法模型。MUGE將實現多場景多任務的覆蓋，其中包括理解類任務，如跨模態檢索、跨模態分類等，以及生成類任務，如圖文描述、基于文本的圖像生成等，研究人員能夠從理解能力和生成能力兩大角度去評估算法模型。首期開放了包括了如下3個任務：
E-Commerce IC（Image Caption）
圖像描述生成是一項經典的多模態任務，任務目標是根據一張圖像生成相應的文字描述，要求生成的描述須如實反映圖中的物體以及關鍵細節。電商領域有著眾多的商品圖片，將圖像描述技術應用于電商領域，為每個商品生成一段富含吸引力的描述，對于吸引用戶的點擊、提高轉化率有著重要的意義。
本次發布E-Commerce IC數據集涵蓋了服裝、食品、化妝品、3C數碼配件等眾多商品類目，所有數據均來源于真實的淘寶電商場景。其中，商品對應的文字描述由商家根據商品特性來撰寫，不同文案間的風格差異很大，這給圖像描述的生成帶來了很多挑戰。ECommerce-IC共包含5w條訓練數據和5k條驗證集數據，同時提供1w張圖片用于在線評測，是目前業界最大的中文電商Caption數據集。
下面是兩個樣例：
例子1：
- 輸入（商品圖片）：
- 輸出（商品文案描述）：使用原始北歐風格，崇尚自然，以木色、黑色、白色作為整體色調，給人舒適寧靜的感覺，輕松就餐，才能留住好食光，在極簡風的北歐餐廳中，盡情享受美食。
例子2:
- 輸入（商品圖片）：
- 輸出（商品文案描述）：西裝印花裙的兩件套，知性中又有帶著優雅灑脫。雅致的印花裙邂逅西服，輕松打造精致的職場女神。脫掉外套依然美麗優雅，不失為明智的穿搭。V領的設計更顯女性的性感魅力。如行走的時裝畫冊精致，有品位更具有風度。
E-Commerce T2I（Text to Image）:
文本到圖像生成是一項具有挑戰性的任務，它需要圖像生成以及對跨模態理解的能力。任務目標是根據一段文本描述，生成符合相應描述的圖像，同時要求圖像清晰且逼真。電商領域有著眾多的商品圖片，將文本到圖像生成技術應用于電商領域，對于商品上新、設計、分發，減少商家運營成本，提高用戶體驗有著重要的意義。
本次發布的ECommerce-T2I數據集涵蓋了服裝、飾品、化妝品內的多個商品類目，所有數據均來源于真實淘寶電商場景。整個數據集由訓練集、驗證集和測試集組成。其中訓練集有9w張圖片，驗證集和測試集各有5k張。此外，本數據集內的圖片均為白底圖，選手無需額外的精力放在背景生成上，主要考查模型對商品文本的理解和生成能力，提高物體的生成質量。
下面是兩個樣例：
例子一：
- 輸入（文本）：綿羊毛商務休閑西服套裝
- 輸出（生成圖像）：
例子二：
- 輸入（文本）：減震透氣跑鞋
- 輸出（生成圖像）：
Multimodal Retrieval Dataset
多模態檢索評價模型進行圖文理解和匹配的能力，是電商場景中滿足用戶需求、促成點擊交易不可缺少的一環。在此次任務中，我們準備了來自于淘寶電商平臺的真實搜索query及商品圖，要求模型從給定的商品池中檢索出與搜索query相匹配的商品（樣例如下圖）。為了更好評價模型跨模態理解的效果，我們此次不公開商品的標題以及其他信息，要求模型僅基于商品圖片進行檢索召回，具有一定的挑戰性。
此次公開的電商圖文檢索數據集由訓練集、驗證集和測試集組成，其中訓練集包含25w搜索query-商品圖構成的圖文對，涵蓋約12w商品圖片。對于驗證集和測試集，我們各準備了5k搜索query和3w候選商品圖片。數據集類目涵蓋廣泛，涉及服裝、家居、電子、化妝品等多個領域，是目前最大的中文全領域電商圖文檢索數據集，對模型的泛化能力提出了考驗。
下面是兩個樣例：
例子1：
- 輸入（Query）：純棉碎花吊帶裙
- 輸出：商品圖片
例子2:
- 輸入（Query）：北歐輕奢邊幾
- 輸出：商品圖片
MUGE挑戰榜
MUGE的提出旨在解決當前中文多模態領域下游任務數據集匱乏的問題，并且為廣大研究者提供平臺和評測基準去衡量算法模型的有效性。此外，相較于傳統榜單，MUGE的覆蓋面更全，涵蓋理解和生成兩大類任務，并開創性地將基于文本的圖像生成納入其中。未來，MUGE也會持續地擴增更多的多模態任務及數據規模，進一步為研究人員和開發者提升算法模型效果而提供支持。
MUGE目前已經在阿里云天池平臺開放，感興趣的研究者們可以訪問如下鏈接進入MUGE leaderboard參與挑戰，平臺會在每個月的月底評出榜單Top8選手，并贈予天池定制禮品！
MUGE挑戰榜地址：https://tianchi.aliyun.com/specials/promotion/mugemultimodalunderstandingandgenerationevaluation?spm=a2c41.24125772.0.0
關于M6:
此前，達摩院智能計算實驗室認知智能組大力推進超大規模中文多模態預訓練工作研究，先后發布了百億、千億和萬億參數規模的大規模預訓練模型M6，在多項下游任務上取得突出的效果提升，同時也在大規模預訓練基礎技術上做了深度的探索，包括如何訓練超大模型和如何設計MoE模型架構等。M6的工作目前已被KDD 2021錄用。
達摩院智能計算實驗室認知智能組隸屬于達摩院，致力于推進認知智能研究，在大量真實的商業場景中實現大規模落地，并在多模態預訓練、大規模圖神經網絡等多個領域得到開創性的世界領先結果。團隊研發的認知智能計算平臺榮獲2019年世界人工智能創新大賽的最高榮譽SAIL獎項，并且入選發改委國家重大建設項目庫。團隊曾榮獲2020年國家科學技術進步獎二等獎和杭州市領軍型創新團隊，人員和技術實力雄厚，累計在CCF-A類會議和期刊上發表文章超百篇。
參考資料：
[1] Junyang Lin, Rui Men, An Yang, Chang Zhou, Ming Ding, Yichang Zhang, Peng Wang, Ang Wang, Le Jiang, Xianyan Jia, Jie Zhang, Jianwei Zhang, Xu Zou, Zhikang Li, Xiaodong Deng, Jie Liu, Jinbao Xue, Huiling Zhou, Jianxin Ma, Jin Yu, Yong Li, Wei Lin, Jingren Zhou, Jie Tang, and Hongxia Yang. 2021. M6: A chinese multimodal pretrainer. CoRR, abs/2103.00823.
[2] Chen, X., Fang, H., Lin, T., Vedantam, R., Gupta, S., Dollár, P., & Zitnick, C.L. (2015). Microsoft COCO Captions: Data Collection and Evaluation Server. ArXiv, abs/1504.00325.
[3] Agrawal, A., Lu, J., Antol, S., Mitchell, M., Zitnick, C.L., Parikh, D., & Batra, D. (2015). VQA: Visual Question Answering. International Journal of Computer Vision, 123, 4-31.
[4] Goyal, Y., Khot, T., Summers-Stay, D., Batra, D., & Parikh, D. (2017). Making the V in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 6325-6334.
原文鏈接：https://developer.aliyun.com/article/786563?
版權聲明：本文內容由阿里云實名注冊用戶自發貢獻，版權歸原作者所有，阿里云開發者社區不擁有其著作權，亦不承擔相應法律責任。具體規則請查看《阿里云開發者社區用戶服務協議》和《阿里云開發者社區知識產權保護指引》。如果您發現本社區中有涉嫌抄襲的內容，填寫侵權投訴表單進行舉報，一經查實，本社區將立刻刪除涉嫌侵權內容。總結
以上是生活随笔為你收集整理的大规模中文多模态评测基准MUGE发布的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： AIoT让一个屏有了100种用法
- 下一篇： 揭秘阿里云 RTS SDK 如何实现直播