分布式计算与机器学习
生活随笔
收集整理的這篇文章主要介紹了
分布式计算与机器学习
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
也算探索了幾個月吧,在給自己定位。
定位是,分布式系統,機器學習,自然語言處理,計算廣告,推薦。
這里的分布式不是指基礎計算平臺,比如分布式存儲之類的,而是指分布式計算。
公司不像實驗室可以給你一個高性能的巨型計算機,一個T的內存,幾十個高性能CPU,在這個環境下,只需要像普通pc編寫程序即可。
公司有的是幾千臺普通電腦,用些電腦實現分布式計算。而這里的分布式有兩種形式,一種是hadoop類似的,但是這種方式比較簡單,無法實現復雜的算法,具體的說,就是每個計算任務最好都沒有交互。另外一種就是基于mpi,實現復雜,但是適合復雜模型的訓練。
對于互聯網公司最賺錢的就是廣告點擊率預測,是一個邏輯斯特模型。
在公司中,一般是用hadoop處理數據,比如特征抽取,mpi實現模型訓練
總結
以上是生活随笔為你收集整理的分布式计算与机器学习的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: cookie mapping
- 下一篇: string 传参