震撼!谷歌自动重建了果蝇完整大脑:40万亿像素图像首度公开!
來源:Google AI,編輯:小芹、金磊、張佳
【新智元導讀】今天,谷歌與霍華德·休斯醫學研究所(HHMI)和劍橋大學合作,發布了一項深入研究果蠅大腦的重磅成果——自動重建整個果蠅的大腦。他們使用數千個谷歌云 TPU,重建的完整果蠅大腦高達 40 億像素。有了完整的大腦圖像,科學家距離了解大腦如何工作更近了一步。
你知道嗎?果蠅是公認被人類研究的最徹底的生物之一,截至目前,已有 8 個諾貝爾獎頒發給使用果蠅的研究,這些研究推動了分子生物學、遺傳學和神經科學的發展。
科學家們一直夢想通過繪制完整的大腦神經網絡的結構,以了解神經系統是如何工作的。
最近研究的一個主要目標是果蠅的大腦。
果蠅的一個重要優勢是它們的大小:果蠅的大腦相對較小,只有 10 萬個神經元,相比之下,老鼠的大腦有 1 億個神經元,人類的大腦有 1000 億個神經元。
這使得果蠅的大腦更容易作為一個完整的回路來研究。
今天,谷歌與霍華德·休斯醫學研究所(HHMI)和劍橋大學合作,發布了一項最新深入研究果蠅大腦的研究成果——自動重建整個果蠅的大腦。
果蠅大腦的自動重建
這篇論文題為“利用 Flood-Filling 網絡和局部調整自動重建連續切片成像的果蠅大腦”:
來自谷歌、霍華德·休斯醫學研究所(HHMI) Janelia 研究園區以及劍橋大學的一共 16 位研究人員參與了這個研究,其中,第一作者 Peter H. Li 是谷歌研究科學家,主要研究方向包括一般科學、機器智能、機器感知。
Peter H. Li
他們還提供了果蠅大腦完整圖像的展示,任何人都可以下載查看、或使用交互式工具在線瀏覽,他們開發了一個 3D 的交互界面,稱為 Neuroglancer。
Neuroglancer 的演示視頻請到原文觀看。
這不是果蠅大腦第一次得到完整繪制,今年 1 月,Science 雜志用封面報道,介紹了 MIT 和霍華德·休斯醫學研究所(HHMI)科學家們成功對果蠅的完整大腦進行了成像,并且清晰度達到了納米級。但那次仍是人工的方法,使用了兩種最先進的顯微鏡技術。
幾十年來,神經科學家一直夢想繪制出一幅完整的大腦神經網絡的精細地圖,但對于擁有 1000 億神經網絡的人腦,需要處理的數據量之巨大是難以想象的。如果能自動重建果蠅大腦,也許離自動繪制人腦就更近一步了。
這也不是 Peter H. Li 的團隊第一次試圖用 AI 方法繪制大腦神經元,他們分別在 2016 年和 2018 年在更小的數據集上進行了研究,如下圖右下角所示。
一個 40 萬億像素的果蠅大腦的 3D 重建右下角分別是谷歌 AI 在 2016 和 2018 年分析的較小數據集
在 2018 年,谷歌與德國馬克斯普朗克神經生物學研究所合作,開發了一種基于深度學習的系統,可以自動映射大腦的神經元。他們對 100 萬立方微米斑胸草雀大腦掃描圖像進行了重建。
研究人員稱,由于成像的高分辨率,即使只有一立方毫米的腦組織,也可以產生超過 1000TB 的數據。因此,這次重建整個果蠅的大腦,可想數據量有多龐大。
用于處理數據的,是谷歌的Cloud TPU,而且是數千個!
Google AI 負責人 Jeff Dean 也在推特上感嘆道:
TPU 真的會飛!GoogleAI 的科學家使用 TPU 來幫助重建了整個果蠅大腦的神經連接!
下面,新智元帶來對這一研究的詳細解讀:
一、40 萬億像素果蠅大腦,自動重建!
在實驗過程中,主要采用的數據集是 FAFB,它是“full adult fly brain”(完整成年果蠅大腦)的縮寫(相關數據集信息見文末)。
研究人員在此數據集上,將果蠅的大腦切成了成千上萬個 40 納米的超薄切片,而后用透射電子顯微鏡對每個切片進行成像,這就產生了超過 40 萬億像素的大腦圖像。并且將這些 2D 圖像整合成連貫的 3D 果蠅大腦圖像。
接下來,研究人員使用了數千個云 TPU,并應用Flood-Filling Network (FFN),以便自動跟蹤果蠅大腦中的每個神經元。
通過 FFN 對整個果蠅大腦進行密集分割(dense segmentation)
上圖中的A是 3D 渲染的 FAFB 數據集平滑組織掩膜(smoothed tissue mask)。任意冠狀切片(數據集 XY 平面)顯示了整個內部的 FAFB-FFN1 分割。B-E 展示了增加縮放比例后的效果。
自動神經元重建與手動神經元跟蹤做驗證對比
雖然這個算法總體運行效果還算不錯,但是當對齊(alignment)不夠完美(連續切片中的圖像內容不穩定)或者偶爾由于在成像過程中丟失了多個連續切片時,性能會有所下降。
為了彌補這個這個問題,研究人員便將 FFN 與兩個新程序結合起來。
首先,估計出 3D 圖像中各個區域切片之間的一致性,然后在 FFN 跟蹤每個神經元的時候局部穩定圖像中的內容。
其次,研究人員使用 SECGAN 來計算圖像體積(volume)中缺失的切片,而當使用 SECGAN 時,研究人員發現 FFN 能夠更可靠地跟蹤多個缺失切片的位置。
局部調整(Local Realignment,LR)
不規則截面的替換
整體 FAFB-FFN1 的分割 pipeline
Segmentation-assisted 神經元跟蹤
二、果蠅大腦與 Neuroglancer 的交互可視化
當處理包含數萬億像素和形狀復雜的物體的 3D 圖像時,可視化既重要又困難。受谷歌開發新可視化技術的歷史啟發,研究人員設計了一種可擴展且功能強大的新工具,任何擁有支持 WebGL 的網頁瀏覽器的人都可以訪問。
結果就是 Neuroglancer,一個在 github 上的開源項目,可以查看 petabyte 級 3D volume,并支持許多高級功能,如任意軸橫截面重構(arbitrary-axis cross-sectional reslicing),多分辨率網格,以及通過與 Python 集成開發自定義分析 workflow 的強大功能。該工具已被合作者廣泛使用,包括艾倫腦科學研究所、哈佛大學、HHMI、馬克斯普朗克研究所(Max Planck Institute)、MIT、普林斯頓大學等。
三、未來工作
谷歌表示,HHMI 和劍橋大學的合作者已經開始使用這種重建來加速他們對果蠅大腦學習、記憶和感知的研究。然而,由于建立連接組需要識別 synapses,因此上述結果還不是真正的 connectome。他們正與 Janelia Research Campus 的 FlyEM 團隊密切合作,利用“ FIB-SEM ”技術獲得的圖像,創建一個高度驗證且詳盡的果蠅大腦的 connectome。
FAFB:v14 排列的完整成年果蠅大腦
可視化鏈接:
https://fafb.catmaid.virtualflybrain.org/
https://bit.ly/2SkiWsP
下載鏈接:
http://temca2data.org/
FAFB CLAHE:FAFB 和 CLAHE 對比度歸一化(contrast normalization)
可視化鏈接:
https://bit.ly/2SkiWsP
CREMI:基于早期 FAFB 排列的 CREMI 挑戰訓練數據
下載鏈接:
https://cremi.org/data/
論文地址:
https://www.biorxiv.org/content/biorxiv/early/2019/08/04/605634.full.pdf
總結
以上是生活随笔為你收集整理的震撼!谷歌自动重建了果蝇完整大脑:40万亿像素图像首度公开!的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 微软成立Azure安全实验室 找出漏洞最
- 下一篇: Science Advances刊登柔性