物联网数据的采集与处理
一.物聯(lián)網(wǎng)相關(guān)協(xié)議
1.http
優(yōu)勢:
- 簡單的工作模式,請求/響應(yīng)
- 完整的方法定義。
- 合理的狀態(tài)碼設(shè)計(jì)
- 友好的媒體類型支持。文本、圖片、視頻
缺點(diǎn):
- 單向傳輸,可以通過客戶端輪詢實(shí)現(xiàn)類似推送效果或者HTTP 2.0。
- 安全性不高, HTTP是明文協(xié)議,可以使用HTTPS傳輸
- HTTP是文本協(xié)議,冗長的協(xié)議頭部,對于運(yùn)算、存儲、帶寬資源受限的設(shè)備來說開銷大。
2.MQTT
MQTT協(xié)議,支持一對多的基于消息主題(Topic)的消息訂閱,也就是一個MQTT的客戶端,發(fā)送一條特定主題的消息,
能同時支持多個訂閱者同時訂閱。
二.數(shù)據(jù)的采集與處理方案
1.傳統(tǒng)的方案:
? 假如我們手下現(xiàn)在有兩個樹莓派,其中一個樹莓派上面有幾個傳感器,我們標(biāo)記為slave,而另外一個樹莓派充當(dāng)服務(wù)器的角色,我們標(biāo)記為master。然后我們通過在slave上收集傳感器的數(shù)據(jù),然后將數(shù)據(jù)通過http請求發(fā)送給master,master進(jìn)行傳感器的數(shù)據(jù)存儲。這是傳統(tǒng)的C/S架構(gòu)。
2.現(xiàn)代的方案:
? 同樣是兩個樹莓派,我們從兩個點(diǎn)進(jìn)行來更新項(xiàng)目提高項(xiàng)目的效率:數(shù)據(jù)的采集,數(shù)據(jù)的處理。
數(shù)據(jù)的采集:我們通過MQ進(jìn)行消息數(shù)據(jù)傳送。
數(shù)據(jù)的處理:通過構(gòu)造分布式數(shù)據(jù)庫,進(jìn)行數(shù)據(jù)存儲。
如下圖所示,采用的是一種方案,將數(shù)據(jù)/數(shù)據(jù)文件存儲在云存儲中,然后通過MQ來監(jiān)聽下載文件到分布式系統(tǒng)中(HDFS,spark,HBASE)
設(shè)備開始采集之后,然后以文件的方式保存,然后通過網(wǎng)絡(luò)傳送到云存儲。 由于數(shù)據(jù)量大,這里通常要做系列化以及壓縮處理。
三.總結(jié)
四.參考
物聯(lián)網(wǎng)數(shù)據(jù)采集處理架構(gòu):https://blog.csdn.net/tom_fans/article/details/78667779
如何有效的處理物聯(lián)網(wǎng)中的海量數(shù)據(jù):http://m.elecfans.com/article/1062961.html
如何高效處理物聯(lián)網(wǎng)中數(shù)據(jù)與消息:https://yq.aliyun.com/articles/111342
物聯(lián)網(wǎng)協(xié)議MQTT淺談:https://blog.csdn.net/u010648018/article/details/80963913
總結(jié)
以上是生活随笔為你收集整理的物联网数据的采集与处理的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【积】有向图中的louvain社区检测(
- 下一篇: BundlePhobia