食品安全大数据可视化关联分析
點擊上方藍字關注我們
食品安全大數據可視化關聯分析
陳誼,?孫夢,?武彩霞,?孫小然
北京工商大學計算機學院食品安全大數據技術北京市重點實驗室,北京 100048
?
摘要:隨著檢測技術的提高和互聯網技術的廣泛應用,食品安全數據的規模不斷增大、類型不斷增多,對數據分析技術提出了極大挑戰。近年來出現的可視分析技術,通過提供圖形交互界面,幫助領域人員深入理解數據并洞悉數據中的隱含規律,提高對食品安全風險的分析、發現、預警和溯源能力,為食品安全監測和管控提供了新手段。首先分析了食品安全數據的主要來源、特征和分析任務;然后提出了一種關聯可視分析技術分類方法,從屬性關聯、實體關聯、對比分析和時空分析4個方面闡述了近10年來的食品安全大數據可視化關聯分析方法;最后提出了該領域存在的問題和挑戰。
關鍵詞:可視分析?;?大數據?;?食品安全?;?關聯關系
論文引用格式:
陳誼, 孫夢, 武彩霞,? 等. 食品安全大數據可視化關聯分析[J]. 大數據, 2021, 7(2): 61-77.
CHEN Y, SUN M, WU C X, et al. Visual associations analysis of big data in food safety[J]. Big Data Research, 2021, 7(2): 61-77.
1 引言
食品安全關系到人們的身體健康和生命安全,受到世界各國的廣泛關注。食品安全問題主要包括病原微生物污染、農藥獸藥殘留、重金屬和真菌毒素污染、食品添加劑的非法和摻雜使用,是一個非常復雜的問題,涉及從種植養殖、生產加工、運輸貯藏到餐桌消費的全過程,為此各國政府部門均加強了對從農田到餐桌全鏈條的食品安全監測和管控,進而產生了大量的食品安全數據。這些數據涉及食品的種類、營養、污染物、時間、地域等多維度信息,具有多維、時空、層次、關聯等特征,對這些數據的關聯分析是食品安全領域的重要分析任務,包括屬性關聯、實體關聯、對比分析和時空分析。隨著檢測技術的進步和物聯網技術的應用 ,食品安全數據的數量、類型不斷增多,產生的速度不斷加快,開始呈現出大數據的特征。這一方面為基于數據驅動的食品安全風險分析提供了豐富的數據資源,另一方面也對數據分析技術提出了極大的挑戰。
2 食品安全數據的來源、特征與關聯分析任務
2.1 數據來源
食品安全數據來源廣泛,主要包括如下幾個方面。
● 各類食品安全檢測儀器的檢測結果。這些檢測儀器可以是:用于檢測農藥殘留的色譜-質譜儀、用于監測食品質量的射頻識別(radio frequency identification,RFID)傳感器和視頻設備、用于快速檢測食品安全的移動設備(如手機)等。
● 與食品安全相關的標準文件。如食品中各種危害物(農藥殘留、重金屬、致病菌等)的限量標準、檢測方法標準、食品中營養成分的限量標準等。
● 互聯網數據。如新聞、微博、Twitter等社交媒體上的相關評論等。
● 在線數據庫。各國食品安全管理部門或組織都會在線發布數據,這些數據包含與食品安全相關的信息,如各國的相關標準、食品中污染物的抽檢結果和分析報告、出入境檢驗檢疫不合格食品信息、食品消費數據、風險預警信息等。
表1給出了幾個國內外典型的食品安全在線數據庫。GEMS/Food(global environment monitoring systemfood contamination monitoring and assessment programme)是全球環境監測/食品污染監測和評估系統,它由世界衛生組織(World Health Organization, WHO)發布,包含世界多個區域的食品污染物監測數據;RASFF(rapid alert system for food and feed)是歐盟食品和飼料類快速預警系統,是現在由歐洲聯盟委員會(European Commission, EC)公開的經常使用的食品安全在線數據庫,該系統可以按照通知、通知類別、危害物、日期、產品、關鍵字等進行數據篩選。EFSA-Data是由歐洲食品安全局(European Food Safety Authority, EFSA)發布的歐盟地區食品安全數據收集和分析結果,其中包含食品消費、食品成分、生物危害、化學危害、化學污染物、化學殘留物、植物學綱要和標準化數據等相關數據,風險評估者可使用該數據集計算出消費者對某種危害的暴露程度,監控食品安全計劃的有效性。美國食品藥品監督管理局(Food and Drug Administration,FDA)發布了一些數據庫,如農藥殘留監測計劃報告和數據、F DA監管產品召回的信息等。中國食品安全國家標準和食品安全抽檢結果由國家市場監督管理總局(State Administration for Market Regulation,SAMR )發布,包含我國各污染物的限量標準、抽檢結果全部合格和不合格產品信息的食品名稱和抽檢次數等。對于進出口食品安全數據,如各國有關標準和未準入境食品信息由中國海關總署(General Administration of Customs of the People’s Republic of China,GACC)發布。此外,中國還有一些食品安全數據集是由商業組織提供的,例如食品伙伴網的專業食品安全數據庫,包含安全性指標、食品抽檢信息、化學污染、微生物、進出口信息、認證信息、營養數據等。上述數據庫大多為用戶提供了根據地區、食品分類、危害物、時間等關鍵字段進行查詢的功能。
2.2 數據特征
從數據來源可以看出,食品安全數據開始呈現規模巨大(volume)、類型多樣(variety)、產生速度快(velocity)、價值密度低(value)、不確定性(veracity)和動態可變性(variability)的大數據6V特征。從數據分析的角度來看,它還具有多源、多維、層次、時空和動態可變等特征。多源是指食品安全數據來源廣泛,如前文所述,其可以是檢測結果、監測數據、標準文件、監管數據、互聯網數據、在線數據庫等;多維是指食品安全數據具有多維屬性,例如,食品中含有多種營養成分,包含蛋白質、維生素、糖、脂肪等1 500多種;層次是指數據具有樹形的層次結構,例如,農產品分類、農藥分類、地域的行政區劃等都具有層次特征;時空是指食品安全數據有一定的時間屬性和空間屬性,通常人們需要統計食品安全數據按空間分布和時間分布的態勢;動態可變性是指食品安全數據是動態變化的,如監測數據、視頻數據、社交媒體數據等。
2.3 關聯分析任務
食品安全監管的目的是通過相關技術手段進行風險識別、風險分析和風險評估,進而實現風險預警和追根溯源,以最大限度地預防、減輕和消除食品安全的危害和風險,確保人民群眾的食品安全。隨著食品安全大數據的出現,數據驅動的風險分析已成為食品安全決策和監管的重要手段之一。通過對食品安全數據的關聯分析,領域人員可以掌握數據的分布特征、發現異常、探索數據間的隱含關聯,以支持食品安全風險識別、風險評估、風險預警和追根溯源。
根據食品安全監管的需求和數據的特征,筆者將食品安全數據的關聯分析分為以下4類:屬性關聯、實體關聯、對比分析和時空分析。
● 屬性關聯是指屬性間的相關性分析。食品安全數據通常是多維或高維數據,涉及食品的各種屬性(名稱、分類、營養成分等)、危害物的各種屬性(名稱、類別、毒性、成分等)、多國限量標準等,通過屬性間的相關性分析,可以進行營養食品推薦或食品安全風險預測。
● 實體關聯是指實體間的關聯分析。食品安全數據集中通常含有多個食品或危害物等實體,這些實體間的關聯可以是樹狀的層次關系,也可以是網狀的關聯關系,通過對這些關聯關系的探索,可以幫助發現異常實體,如高風險的食品或危害物。
● 對比分析。作為關聯分析的一種特殊形式,對比分析在食品安全領域中普遍存在,如檢測結果與限量標準的對比和食品污染程度的排名可以幫助發現不合格食品和高風險食品;多國限量標準的對比可以幫助監管部門發現兩個國家同類標準的差異,如農藥殘留最大限量標準,進而改進和完善我國現有標準。
● 時空分析。食品安全數據的許多屬性與時間或空間關聯,這類關聯分析可以使用戶了解數據的空間分布和時變特征,從而對食品安全事件進行預測和溯源。
針對上述關聯分析需求,當前基于統計學和數據挖掘的方法在一定程度上有效地解決了食品安全數據的關聯分析問題,然而這些方法大多是全自動的過程,沒有考慮人的經驗和知識。隨著食品安全大數據時代的到來,食品安全監測預警工作的思維方式和工作范式將發生根本性的變化,食品安全數據監測預警的分析對象和研究內容更加細化,數據獲取技術更加便捷,這就要求信息處理技術更加智能,信息表達和服務技術更加精準。
3 食品安全數據的關聯可視分析方法
近年來出現的可視分析技術將人的經驗智慧與機器的運算能力緊密地結合在一起,通過提供有效的交互可視界面,幫助人們快速準確地觀察、過濾、探索、理解和分析大規模數據,從而有效地發現隱藏在數據內部的特征和規律。數據可視分析流程如下:首先對原始數據進行收集和處理,并將其存儲到數據文件或數據庫中,然后通過數據分析得到分析結果,再將分析結果通過可視化映射形成可視化視圖,并呈現給用戶。用戶則根據其分析任務,在上述流程中的各個階段與數據進行交互(如選擇和過濾要分析的數據、調節分析模型中的參數、切換不同的視圖),以實現對數據的全方位分析。這種人在回路的可視分析方法為食品安全數據的關聯分析提供了新思路,本節將根據食品安全領域中的4類關聯分析需求,分類介紹關聯可視分析方法,見表2。
3.1 屬性間的關聯可視分析
食品安全數據屬性間的關聯分析可以分為兩屬性相關性分析和多屬性相關性分析,通常使用散點圖、散點圖矩陣、平行坐標、鄰接矩陣等可視化方法將數據呈現給用戶,通過交互手段,用戶可以探索數據屬性間的相關性和關聯規律。
3.1.1 兩屬性之間的相關性可視分析
散點圖由直角坐標系上的數據點構成,表明數據的二維屬性之間的關系。Bian R Z等人提出了一種基于隱函數微分的多維投影方法,將紅酒數據集通過主成分分析(principal component analysis,PCA)方法投影到二維平面上,并形成散點圖,如圖1(a)所示。對于多屬性的相關性分析,可以使用散點圖的擴展方法——散點圖矩陣。散點圖矩陣將n維數據每兩維組成一個散點圖(數據維度即數據屬性),再將它們按照一定的順序組成n×n的矩陣,即散點圖矩陣,以揭示n維數據中所有維度兩兩之間的關系。為了同時探索多維數據屬性間的相關性, Yuan X R等人提出了一種維度投影矩陣技術,用于交互式地探索和分析高維數據子空間,并將其應用于分析食品營養數據集,每個維度代表某種營養素。首先將美國農業部食品數據集經過多維標度分析(multidimensional scaling,MDS)投影在二維平面中,按照此圖的聚類特征將維度分為4個互相獨立的組,形成維度投影矩陣,以幫助用戶探索和分析食品中多個營養素之間的關聯關系,將食品按營養素的關聯關系進行合理的聚類,如圖1(b)所示。
圖1???屬性關聯可視分析方法圖例
3.1.2 多屬性之間的相關性可視分析
平行坐標(parallel coordinates)用一組平行的軸表示數據的屬性,用穿過每一條軸線的一條折線表示一個數據對象,平行的軸是等距離分布的垂直線或水平線。采用平行坐標展現多屬性數據可以幫助用戶分析屬性之間的相關性,以及數據的分布特征。Chen Y等人運用平行坐標展現農產品中農藥殘留限量值在中國、美國、日本、歐盟、國際食品法典委員會(Codex Alimentarius Commission, CAC)等國家/地區或組織的MRL標準中的取值,幫助用戶對比多個MRL標準的差異。平行坐標可以很好地展現屬性間的相關關系,但當數據對象增多時,會產生視覺雜亂。為了解決這一問題,陳誼等人對平行坐標進行了改進,提出了一種基于類區間的多維數據可視化方法,并應用到農藥殘留檢測標準數據的分析中,如圖1(c)所示。該方法首先根據數據的實際理化意義,使用K-means算法對原始數據進行聚類,然后引入類區間模型,將各類數據相互分離,從而形成了清晰的可視化聚類效果。此外,陳誼等人使用鄰接矩陣,通過矩陣熱圖的顏色深淺映射維度之間的相關性大小,顏色越深表示相關性越大,并以檢出農藥為例,展示了不同農藥屬性維度之間的相關性,以挖掘某地區農產品中農藥的施用模式。
3.2 實體間的關聯可視分析
針對分析任務,實體間的關聯關系可以分為實體間網絡關系和實體間層次關系。
3.2.1 實體間網絡關系可視分析
網絡關系通常用圖來描述,在圖結構中,常將節點稱為頂點,邊為頂點的有序偶對,若兩頂點間存在一條邊,則表示這兩個頂點具有相鄰關系。基于圖的可視分析方法結合了圖分析理論和可視化技術的優勢,將圖的鄰接表或者鄰接矩陣轉換為由點和線組成的圖形,可以令研究人員直觀地看到數據間的關聯關系,其已成為分析復雜數據集中各種關系的有效手段。常用方法有節點-鏈接(node-link)法、鄰接矩陣和弦圖等。
節點-鏈接法是一種典型的關聯數據可視化方法,它用不同形狀的節點表示實體,節點之間的連線表示實體間的關系。它既可以表達實體間的樹狀層次關系(節點鏈接樹),也可以表達實體間網狀的關聯關系(圖)。楊璐等人運用節點-鏈接法將某種食品與其檢出的不合格項目進行連線,檢出的不合格項目頻率越高,連線越粗,與檢測頻率呈等比例關系展示,從而幫助監管者定位重點監管對象和監管項目。弦圖可以展示關聯數據間的權重關系,數據點之間的關系被繪制為連接兩個數據點的弧(邊),權重越大則邊越粗。Narcisa P A等人設計了一種弦圖來顯示各危害物與乳制品之間的關聯關系,如圖2所示。
圖2???弦圖,展現各危害物與乳制品之間的關聯關系
鄰接矩陣是實體間網絡關系可視化表示之一,它是一個N×N的網格(其中N為節點數),其中位置(i, j)表示節點i和j之間的鏈路權值。Chen Y等人提出了一種用于關聯數據可視分析的有序矩陣表達方法,該方法用矩陣熱圖表示農產品和農藥的檢出關系,其中矩陣的行表示農藥,列表示農產品,單元格的顏色表示農藥殘留含量,顏色越深,農藥殘余含量越高。如圖3所示,該方法將數據抽象為二部圖,將實體抽象為點,P、R、W分別表示兩個獨立的點集合和一個連接兩點的邊集合,將實體的RW值作為索引,表示實體在關系結構中的重要性。RW-Rank算法受到PageRank算法的啟發,根據行向量和列向量的RW值進行排序,創建一個有序的關系矩陣,幫助用戶定位關鍵實體并分析它們之間的關系。如圖4所示,A1視圖中矩陣A的行和列的排列順序是按字母順序排序的,便于用戶按名稱查找;A2視圖中矩陣B的行和列則按RW-Rank算法排序,便于用戶快速定位高殘留量、污染嚴重的農產品和農藥。
圖3???二部圖,展現農藥和農產品的關系
圖4???鄰接矩陣,展現農產品和農藥的相關性
3.2.2 實體間層次關系可視分析
實體間層次關系主要表現為包含關系和從屬關系。例如食品通常有大類、亞類、次亞類、細類之分。對于層次數據,常用的可視化方法有節點-鏈接樹、樹圖、放射環等。
節點-鏈接樹的層次關系表現為數據中父輩節點將子孫輩節點包圍起來,展示了數據間的父子關系。齊紅革等人運用節點-鏈接樹構建食品分類圖譜展示食品分類,使食品、食品添加劑分類由大類到細類清晰地呈現。樹圖由一系列嵌套的矩形組成,也可以說是在矩形空間中進行遞歸的分割,這些矩形的大小與相應的節點屬性值成比例。大矩形表示數據樹的一個分支,然后將大矩形細分為較小的矩形,表示該分支內每個節點的大小,還可以搭配顏色來表示不同的數據屬性。Jia Y J等人提出了一種基于樹圖的可視化方法,用樹圖表示農藥含量的分布以及農產品所在區域的層次化結構,該方法可有效地幫助專家按照區域和農產品類別的層次結構對數據集進行關聯分析。事實證明,利用樹圖的可視化方案能夠有效地展示食品安全領域中對于層次結構和關聯關系展示的要求。Chen Y等人用樹圖保留節點間的層次關系,進而展示農藥殘留檢測結果數據。圖5(a)是天津市10個區2014年1月的果蔬農藥殘留分布情況,10個大矩形表示天津市的10個區,每個大矩形中包含的兩個小矩形分別表示水果和蔬菜,顏色表示農藥殘留超標率 ,即檢測出的農藥殘留量超過MRL標準值的次數與檢測農藥殘留總次數的比值,超標率越大越接近紅色。通過這種方法,食品安全領域的專家可以更有效地發現各區果蔬農藥殘留的分布情況,并根據不同的需求做出有效的決策。
圖5???實體間層次關系可視分析方法示例
放射環也是一種展現層次關系的關聯可視化方法,但是其內部空間利用率較低,因此,采用放射環和節點-鏈接法結合的方式能夠同時顯示兩類層次數據。Chen Y等人充分利用放射環圓心附近的空間,將放射環與節點-鏈接樹結合,提出了一種能夠展示兩類層次數據關聯關系的可視化算法SONHC(sunburst with ordered nodes based on hierarchical clustering),并將其應用于可視分析農產品中農藥殘留的檢出情況。該算法用外面的放射環展示農藥的層次結構,圓環內部則通過節點-鏈接樹展示農產品的層次結構;通過連線將農產品與檢出農藥建立關聯,幫助相關分析人員檢查農藥和農產品的層次結構,并探索農藥和農產品之間的關聯以及不同農藥之間的關聯,如圖5(b)所示。此外,杜曉敏等人基于圓環和放射環等提出了一種基于變換的可視分析關聯圖TransGraph,從而展示農產品與農藥的檢出關聯關系和農藥殘留檢出的層次關聯關系。TransGraph能突出重點監管對象,全面展示關聯信息,幫助相關監管部門和分析人員制定決策。
3.3 對比分析
對比分析是關聯分析的一種常用方法,可分為數值對比和結構對比。
3.3.1 數值對比可視分析
在食品安全領域中,常用數值對比來對比分析檢測值與檢測標準值,或將食品受污染情況進行排序對比。圖6是一個多屬性排名可視分析系統,該系統采用平行坐標結合柱狀圖的可視化方法,展示多個農產品按多個農藥殘留評價指標(包括單因子和多因子綜合指標)的排名情況,通過多視圖聯動、數據篩選、屬性選擇等交互手段,幫助用戶全面理解各種農產品受農藥殘留污染的排名情況,可對比分析各農產品及其農藥殘留情況。
圖6???多屬性排名可視分析系統,展現多個農產品在多個農藥殘留評價指標的排名情況
3.3.2 結構對比可視分析
在食品安全領域,通常需要比較兩個按某種結構組織的數據集,如兩個農產品分類體系的比較、兩個MRL標準的比較都可以抽象為樹比較的問題。結構對比可視分析最常用的方法是并置法,即將比較的數據直接可視化并放在同一個視圖中,通過觀察對比的方式完成。Chen Y等人將不同MRL限量標準抽象化為兩個樹,通過兩個嵌套圓并置(如圖7所示)來可視化兩棵MRL樹,幫助用戶對比分析中國內地和中國香港的MRL標準。嵌套圓結合了節點-鏈接圖和樹圖的優點,用圓的面積表示節點的屬性值,用圓的嵌套關系表示節點間的層次關系,所有的子節點圓都被包含在父節點圓中。由于MRL標準是按農產品分類(樹結構)來制定限量值的,該方法的兩個MRL標準比較問題就轉化為了兩棵樹的比較問題。用嵌套的結構描述農產品分類的層次結構,用圓的面積表示某農產品涉及MRL標準值的記錄數,圖7中的左嵌套圓為中國內地MRL標準,右嵌套圓為中國香港MRL標準。
圖7???嵌套圓,對比分析中國內地和中國香港的MRL標準
3.4 時空分析
食品數據具有時間和空間特征,對食品數據進行時空分析可以探索食品屬性與時間、空間的關聯,讓分析人員掌握食品安全問題在地域上的分布特征和隨時間推移的發展趨勢。
3.4.1 食品屬性與時間的關聯可視分析
食品安全數據在時間序列上存在的潛在規律(如多年農產品中的農藥殘留檢出頻次具有周期性特征,一年中不同季節的農藥殘留也呈現出不同的特征等)能有效地幫助人們對食品安全事件發生的時間進行預測,對安全問題進行提前預防。基于時間的可視化方法能夠較為直觀地反映數據隨時間變化的規律和趨勢,同時能夠展現數據細節。時序型數據通常以時間線的方式來表示,圖8(a)以時間為軸,展示了7種農產品的農藥超標率隨時間的變 化情況,其中氣泡顏色表示農產品類型,大小表示農藥殘留超標率的值。Chen Y等人提出了一種被稱為有序樹圖序列(ordered small multiple treemaps,OSMT)的時變層次數據可視化方法,它采用樹圖并置的方式實現對層次數據隨時間變化的可視化表示。圖8(b)為使用該方法對2014年天津市10個地區的果蔬農藥殘留超標率的變化情況進行可視化的結果,可以看出,圖8(b)中的12個樹圖并置表示12個月的變化情況,每個展示層次數據的樹圖表示某個月天津市10個地區果蔬農藥殘留的超標率。主題河流(ThemeRiver)也是一種常用的時間關聯可視分析方法,其在時間維度上以河流的形式展現數據的變化情況。甄遠剛等人提出了一種改進的非連續數據ThemeRiver可視化方法,利用高斯模型曲線擬合,通過主題布局排序、顏色選擇和標簽分布布局一種具有預測功能且能夠展示層次特征的新型主題河流模型,并將其應用于農藥殘留數據監測,為農藥殘留預測預警提供依據。
圖8???時間關聯可視分析方法示例
3.4.2 食品屬性與空間的關聯可視分析
食品安全數據的地域分布能夠幫助研究人員定位食品的采樣地、原產地等,是食品安全預警和溯源的重要依據。通常地理信息系統(geographic information system,GIS)被用來顯示數據在地域上的分布情況。統計地圖(choropleth map)可視化假設數據的屬性在一個區域內部平均分布,通過顏色表示數據的內在模式。龐國芳等人研發了農藥殘留可視化在線制圖系統,編制了中國市售水果蔬菜農藥殘留水平地圖集,展示了不同MRL標準下的農藥超標情況。
統計地圖最大的問題在于數據分布和地理區域大小的不對稱性。變形地圖(cartogram)可以解決此問題,變形地圖可以依據某個專題屬性對地理要素進行扭曲、變形,用相對屬性值的大小取代真實面積,利用夸張的效果更直觀地反映數量特征。Vanasse A等人比較了加拿大各地區的肥胖率,并評估了各地區的成人肥胖率、休閑時間體育活動水平和水果蔬菜攝入量之間的生態關系。由于各地區人口密度不同,為了更科學地反映結果,將地圖按人口密度進行了調整,如圖9(a)所示。Plaza-Rodríguez C等人應用變形地圖探討德國各州零售生雞肉樣品中彎曲桿菌檢出率的地區分布,如圖9(b)所示,德國各州的大小根據彎曲桿菌檢出率進行了修改,導致地圖的原始地理形狀和拓撲結構被扭曲了,讓地理面積小且檢出率高的地區也同樣能受到關注,食用過此雞肉的患者也能被及時監管。Chen Y等人創建了中國農藥殘留分布地圖,統計地圖中漸變的紫色區域表示抽樣農產品中檢測到的農藥殘留量超過MRL標準值的頻次,變形地圖使用擴散算法基于上述頻率值生成。
圖9???空間關聯分析可視分析方法圖例
4 問題與挑戰
從前文可以看出,大數據技 術已成為食品安全風險監控的重要手段,可視分析在食品安全風險分析和預警方面開始發揮越來越重要的作用,并已取得一定進展,但仍面臨一些問題和挑戰。
(1)多源異構數據的融合處理與可視分析
隨著檢測技術的進步和計算機網絡技術的普及、食品安全數據的規模快速增長,數據的準備和處理呈現出人力成本高和時間周期長兩大特點,數據類型也呈現出多樣化特點,包括數值、文本、圖像、視頻或這些數據類型的組合。近年來,針對數值型結構化數據的可視分析技術和方法已取得了豐富的成果,但針對文本、圖像、視頻等非結構化數據的分析仍面臨挑戰。如何在可視分析流程中結合數據分析、文本挖掘、圖像識別、視頻處理等技術實現對多模態數據的可視分析,幫助食品安全領域的人員實現風險識別、風險發現、風險分析,仍是一個亟待解決的問題。
(2)人工智能在可視分析過程中的應用
以機器學習為代表的人工智能技術已開始應用于可視分析流程中的各個環節。在數據分析階段,人工智能可以為數據的預處理、數據變換、數據投影等多個步驟提供準確高效的方法,也可以為食品安全風險評估、趨勢預測提供科學的模型;在可視化階段,應用人工智能技術對數據和分析任務進行處理、分析和學習,實現對可視化設計方案的選擇,包括映射方式(散點圖、平行坐標、節點-鏈接等)、布局(正交、徑向等)、配色方案等,自動生成可視化解決方案,從而減輕領域人員在可視化設計方面的負擔。
(3)設計易于理解的可視分析系統
從事食品安全數據分析工作的人員通常不是計算機領域專業人員,現有大部分可視分析系統提供的可視化表達相對復雜,對于領域用戶,即使其具有豐富的領域專業知識和經驗,也需要經過一定程度的培訓后才能熟練使用,這就限制了可視分析系統的廣泛應用。因此,設計更易于理解和使用的可視化表達(如對人們熟悉的散點圖、柱狀圖、節點-鏈接等進行改進)、開發方便易用的交互方式(如應用虛擬現實和增強現實設備實現更自然的人與數據的交互),也是當前亟待解決的問題。
5 結束語
食品安全大數據可視分析技術通過提供圖形化的交互界面,幫助用戶洞悉蘊含在數據中的現象和規律,提高對食品安全風險的分析、發現、預警和溯源能力,為食品安全監測和管控提供了新手段。本文分析了食品安全大數據 的主要來源、特征和分析任務,提出了一種關聯可視分析技術分類方法,從屬性關聯、實體關聯、對比分析和時空分析4個方面總結了食品安全大數據可視化關聯分析方法,最后從多源異構數據的融合處理與可視分析、人工智能在可視分析過程中的應用、設計易于理解的可視分析系統3個方面提出了該領域存在的問題、機遇和挑戰。未來工作是將人工智能與可視分析技術結合,特別是使用結合數據挖掘、機器學習、深度學習的可視分析方法,解決食品安全風險分析、風險識別、風險預警和風險溯源等問題,提高對食品安全的監測和管控能力。
作者簡介
陳誼(1963-),女,博士,北京工商大學教授,食品安全大數據技術北京市重點實驗室主任,中國圖象圖形學學會可視化與可視分析專業委員會副主任,中國計算機學會杰出會員。主要研究方向為可視化與可視分析、智能信息處理、食品安全大數據技術。2016年獲得中國分析測試協會科學技術獎(CAIA獎)特等獎,2017年獲得中國石油和化工科技進步獎二等獎。多次擔任PacificVis、ChinaVis、ChinaVR等可視化學術會議程序委員會委員和審稿人。
孫夢(1996-),女,北京工商大學計算機學院碩士生,主要研究方向為可視化與可視分析、食品安全大數據技術。
武彩霞(1998-),女,北京工商大學計算機學院碩士生,主要研究方向為可視化與可視分析。
孫小然(1997-),女,北京工商大學計算機學院碩士生,主要研究方向為可視化與可視分析。
聯系我們:
Tel:010-81055448
? ? ? ?010-81055490
? ? ? ?010-81055534
E-mail:bdr@bjxintong.com.cn?
http://www.infocomm-journal.com/bdr
http://www.j-bigdataresearch.com.cn/
轉載、合作:010-81055537
大數據期刊
《大數據(Big Data Research,BDR)》雙月刊是由中華人民共和國工業和信息化部主管,人民郵電出版社主辦,中國計算機學會大數據專家委員會學術指導,北京信通傳媒有限責任公司出版的期刊,已成功入選中國科技核心期刊、中國計算機學會會刊、中國計算機學會推薦中文科技期刊,并被評為2018年、2019年國家哲學社會科學文獻中心學術期刊數據庫“綜合性人文社會科學”學科最受歡迎期刊。
關注《大數據》期刊微信公眾號,獲取更多內容
總結
以上是生活随笔為你收集整理的食品安全大数据可视化关联分析的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: uni-app 解决软键盘弹起输入框遮盖
- 下一篇: pdf表格怎么转换成excel呢?