产业安全专家谈丨企业如何应用“联邦学习”打破数据孤岛,助力业务创新?
??隨著云計算和大數(shù)據(jù)技術(shù)的不斷發(fā)展,以人工智能為基礎(chǔ)的數(shù)據(jù)分析與數(shù)據(jù)挖掘讓大數(shù)據(jù)釋放出巨大價值,已成為企業(yè)業(yè)務(wù)創(chuàng)新、業(yè)績增長的重要手段。
然而,企業(yè)在現(xiàn)實中的數(shù)據(jù)利用卻困難重重,在數(shù)據(jù)價值開發(fā)中,企業(yè)究竟面臨哪些痛點?企業(yè)如何打破困局,充分發(fā)揮大數(shù)據(jù)的潛在價值,助力業(yè)務(wù)創(chuàng)新?由騰訊安全聯(lián)合云+社區(qū)打造的「產(chǎn)業(yè)安全專家談」第十七期邀請到騰訊安全大數(shù)據(jù)創(chuàng)新中心負責人羅松為大家解析企業(yè)數(shù)據(jù)應(yīng)用的現(xiàn)實路徑。
Q1:產(chǎn)業(yè)互聯(lián)網(wǎng)時代,數(shù)據(jù)在業(yè)務(wù)發(fā)展中越來越重要,企業(yè)在數(shù)據(jù)應(yīng)用中有哪些痛點?
羅松:企業(yè)數(shù)據(jù)應(yīng)用最大的痛點是數(shù)據(jù)共享需求與數(shù)據(jù)隱私之間的矛盾。
隨著科技的發(fā)展、業(yè)務(wù)的創(chuàng)新,很多企業(yè)產(chǎn)生了大量數(shù)據(jù)。但在企業(yè)之間,甚至企業(yè)內(nèi)部,數(shù)據(jù)之間常常彼此割裂,存在明顯的“數(shù)據(jù)孤島”的現(xiàn)象。不論對大企業(yè)還是小企業(yè),為了提升業(yè)務(wù)質(zhì)量,提高基于數(shù)據(jù)的決策能力,從而取得競爭性優(yōu)勢,就對在內(nèi)外部進行數(shù)據(jù)融合產(chǎn)生了較大的需求。但是一個現(xiàn)實的問題是,整個社會對隱私保護越來越關(guān)注,監(jiān)管對使用數(shù)據(jù)的要求也越來越嚴格。在這種情況下,企業(yè)急需有一套比較好的技術(shù)和方案,在隱私保護和數(shù)據(jù)合規(guī)的情況下進行內(nèi)外部的大數(shù)據(jù)合作,這也是我們推出聯(lián)邦學習應(yīng)用服務(wù)的初衷。
Q2:聯(lián)邦學習是如何解決企業(yè)數(shù)據(jù)應(yīng)用困局的?
羅松:傳統(tǒng)的聯(lián)合建模需要把數(shù)據(jù)集中到一起,“可見才可用”,難以滿足數(shù)據(jù)隱私和合規(guī)要求。聯(lián)邦學習通過數(shù)據(jù)加密、分布式機器學習等前沿技術(shù)的綜合運用,讓數(shù)據(jù)在不出私有域的情況下進行聯(lián)合建模,數(shù)據(jù)融合過程中只交換機器學習的中間值,實現(xiàn)了數(shù)據(jù)和特征變量的“可用不可見”,有效解決了數(shù)據(jù)運用與隱私保護、數(shù)據(jù)合規(guī)之間的矛盾。
Q3:聯(lián)邦學習為什么要聯(lián)合專業(yè)團隊?企業(yè)自己做的難點在哪里?
羅松:聯(lián)邦學習的本質(zhì)是在不同數(shù)據(jù)生產(chǎn)方之間進行了數(shù)據(jù)融合以及聯(lián)合建模(數(shù)據(jù)不出各自的數(shù)據(jù)中心,但是可以實現(xiàn)融合建模的效果)。單憑一方是無法進行聯(lián)邦學習的,因為沒有其他的數(shù)據(jù)來融合。同時聯(lián)邦學習的技術(shù)要求較高,需要長期且較大的成本研發(fā)投入。選擇具有技術(shù)和數(shù)據(jù)實力的專業(yè)團隊,能夠更便捷高效地接入聯(lián)邦學習,降低成本。
Q4:在具體項目中,企業(yè)和騰訊安全是如何合作的?共享了哪些數(shù)據(jù)特征?
羅松:聯(lián)邦學習建模最大的特點是數(shù)據(jù)可用不可見,實際上雙方交換的是機器學習的中間值。
目前,在金融領(lǐng)域,騰訊安全已與江蘇銀行達成了首個合作。騰訊安全具有大量的信息流維度數(shù)據(jù),基于豐富的黑灰產(chǎn)庫沉淀了3000多個定義風險種類的特征變量,并構(gòu)建了相應(yīng)的特征工程,基于資金流相關(guān)緯度的數(shù)據(jù)也沉淀了相應(yīng)的特征變量和特征工程,雙方通過聯(lián)合建模對這些特征變量進行融合,只是交換了機器學習的中間值,也就是誤差和梯度,達到了數(shù)據(jù)可用不可見的效果。
通過聯(lián)合建模,江蘇銀行實現(xiàn)了信用卡智能化管理,在信用卡接入規(guī)模化、盈利規(guī)模化方面取得重大突破。
Q5:當前聯(lián)邦學習有多個不同架構(gòu)和產(chǎn)品,不同機構(gòu)的聯(lián)邦學習架構(gòu)是否存在技術(shù)標準差異,存在不兼容的情況?
羅松:“聯(lián)邦學習”的概念最早于2016年由谷歌研究科學家H.Brendan McMahan等提出,隨后,谷歌、英偉達等國外科技公司相繼推出有關(guān)聯(lián)邦學習的算法框架、并發(fā)布相關(guān)應(yīng)用產(chǎn)品,如英偉達基于聯(lián)邦學習開發(fā)的Clara平臺就在醫(yī)療領(lǐng)域發(fā)揮出巨大價值。
騰訊是國內(nèi)較早研發(fā)聯(lián)邦學習技術(shù)的企業(yè),由騰訊安全研發(fā)的聯(lián)邦學習應(yīng)用服務(wù)可以兼容微眾銀行聯(lián)邦學習FATE架構(gòu)和騰訊PowerFL技術(shù)架構(gòu),專注于上層的應(yīng)用服務(wù),實現(xiàn)業(yè)務(wù)智能化管理。騰訊安全聯(lián)邦學習應(yīng)用服務(wù)已經(jīng)申請多項專利,擁有豐富的工程化工具集,解決方案處于行業(yè)領(lǐng)先水平。
Q6:企業(yè)在聯(lián)邦學習的應(yīng)用中怎么實現(xiàn)個性化的部署?
羅松:騰訊安全的聯(lián)邦學習應(yīng)用雖然采用了標準化云交付,但實質(zhì)上提供的是個性化應(yīng)用服務(wù)。在我們標準的技術(shù)建議書中,標準化部署后,聯(lián)邦學習對客戶的特定樣本進行聯(lián)合建模中,并自動選擇對建模效果有顯著提升的特征變量作為入模變量。因此,對每一個客戶的具體業(yè)務(wù),聯(lián)邦學習提供的都是個性化的模型和服務(wù)。目前騰訊安全聯(lián)邦學習應(yīng)用服務(wù)還在持續(xù)優(yōu)化中,當前一個200多個特征變量、十萬數(shù)據(jù)量的模型訓練需要大約5小時內(nèi)完成,未來這個時間將進一步縮短,這也是我們下一步重點研發(fā)的方向之一。
Q7:當前,大數(shù)據(jù)在市場中的運用越來越多,在您看來,聯(lián)邦學習的前景如何?未來能否在更廣泛的領(lǐng)域得到應(yīng)用?
羅松:?聯(lián)邦學習的應(yīng)用前景非常廣闊,只要有數(shù)據(jù)融合的需求,只要在融合的前提下需要進行隱私保護,聯(lián)邦學習都會找到非常適合的應(yīng)用前景。
????
總結(jié)
以上是生活随笔為你收集整理的产业安全专家谈丨企业如何应用“联邦学习”打破数据孤岛,助力业务创新?的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: linux分区sda和sdb合并,给系统
- 下一篇: 图片轮播的实现