各位自然語言處理界的同仁：

我們是中文任務基準測評小組，即Chinese Language Understanding Evaluation(CLUE)的成員。我們收集、制作了一套中文自然語言理解評測平臺：CLUE Benchmark。

CLUE Benchmark旨在綜合形式不同、難度各異的中文自然語言理解數據集，制作一個統一的測試平臺，以準確評價模型的自然語言理解能力。目前我們已經收集了至少9大數據集，并制作了排行榜。包括華為、阿里、騰訊等公司，以及中科院相關院所等高校參與了測評。我們的GitHub repository已獲得超過1000個星。

我們的網站：

https://www.CLUEbenchmarks.com

論文的arxiv地址：

https://arxiv.org/abs/2004.05986

Github地址：

https://github.com/CLUEbenchmark

現在，我們誠摯邀請中文自然語言理解方面的專家學者、老師同學、參與者為我們提供更多的中文自然語言理解數據集。這些數據集可以是您自己制作推出的，也可以是您認為很有意義但是是他人制作的數據集。我們計劃在5月14日前完成篩選，推出正式的CLUE Benchmark。請您將推薦數據集的名稱、作者、形式以及License情況發送至 CLUE@CLUEBenchmarks.com

?

【獎勵】如果您推薦的數據集被選中，將能提高擴展數據集的知名度，并為學界、業界對自然語言理解的研究做出貢獻。CLUE組織會引用和推廣該數據集；我們也會結合數據集質量、意義、量級和標注難度、任務類型設置不同等級的獎勵，給與1000--5000元現金獎勵。

?

您推薦的數據集需要滿足以下【要求】：

?

1、【任務與自然語言理解相關】

我們要求數據集能夠測試模型是否理解了中文，模型可以是以研究為導向，也可以由實際應用為導向，重點是需要包含語言理解的成分。任務本身質量還不錯。

2、【任務形式】

任務輸入是一段文本（可長可短），具體任務可以是分類、序列標注、指代消歧、多項選擇、回歸任務，等等。任務最好能夠使用基本的神經網絡模型做出基線，方便測評。

3、【能夠測評】

提交的任務需要有簡單、客觀的評測標準。如果是包含文本生成的項目，那么需要證明該項目有易行的可靠評測標準。

4、【公開的訓練數據】

任務的訓練數據和開發數據需要公開，并且能夠由CLUE使用。

5、【未公開的測試集】

任務最好有尚未公開的測試集。

6、【任務難度】

提交的任務不能太簡單。具體來講，目前的模型如BERT應該比訓練過的普通標注者做的差很多。

?

?

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的中文数据集有奖公开征集的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。