产品经理学大数据——什么是大数据?(1)
大數據是什么?
大數據不是一向單一的技術,而是一個概念,是一套技術,是一個生態圈。
對于大數據的概念,不同研究狗從不同角度有不同的定義。
- Gartner認為“大數據是需要新處理模式才能具有更強的決策力、洞察發現李和流程優化能力的海量、高增長率和多樣化的信息資產”。
- 麥肯錫認為“大數據指的是大小超出常規的數據庫工具獲取、存儲、管理和分析能力的數據集。但它同時強調,并不是說一定要超過特定TB值的數據集才能算是大數據”。
- 根據維基百科的定義,“大數據是指無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合”。I
- DG認為:“大數據一般會涉及2中或2中以上數據形式,它要手機超過100TB的數據,并且是高速實時數據流;或者是從小數據開始,但數據每年會增長60%以上”
以色列已經把所有政府部門的視頻整合到一個大數據管理平臺上,并在這個平臺上開發了一套智慧安防系統。在這個系統上,只要把某一個人的人臉或人的主要特征數據輸入系統,就能從海量的監控記錄中查處同那個人相關的視頻片段,并自動變成一個有時間順序的片子。
大數據的四大特征
大數據具有4V特征,即Volume(數據體量大)、Variety(數據類型繁多)、Velocity(數據產生的速度快)、Value(數據價值密度低)
大數據的商用化
- 最下面的這一層是大數據基本問題。解決這四個問題是大數據商用化基礎,Hadoop技術很好地解決了這一層的問題。Hadoop也被認為是下一代IT架構的基礎,將組成逐步替換以關系型數據庫為基礎的傳統系統。
- 中間這一層是關于訪問權限的問題。高但是現有的Hadoop技術還沒有對數據的敏感性提供可行的解決方案。
- 最上面一層是有關大數據質量的管理。
從用戶的角度,從大數據平臺的功能性的角度來看,我們把大數據平臺細分為三個平臺:大數據云平臺、大數據管理平臺和大數據應用(分析)平臺。大數據待機(也叫數據交換和共享)包含在大數據管理平臺之中。
- 大數據云平臺是集約化建設的IT基礎設施層,為大數據處理和應用提供統一的基礎支撐服務;
- 大數據管理平臺是數據資源層,為大數據應用提供統一數據采集、分析和處理等支持服務;
- 大數據應用平臺是業務應用層,為大數據在各領域的應用提供綜合服務。
大數據分析
光有大數據還不夠。在大數據平臺上存儲了足夠多的數據后,我們該怎么將其加以利用呢?分析大數據,并將分析結果應用與決策中才是最重要的事情。
預測分析是大數據分析領域中的一個常用模式,它通過分析采集的數據來預測未來的行為或趨勢。它根據事物的過去和現在估計未來,根據已知預測未知,從而減少對未來事物認識的不確定性,以用來指導我們的決策行動,減少決策的盲目性。在大數據分析領域,預測分析常常與預測模型、機器學習和數據挖掘有關。
處理預測分析,還有關聯分析。關聯分析的目的在于,找出數據之間內在的聯系。比如,購物籃分析,即消費者常常會同時購買哪些產品,從而有助于商家的捆綁銷售。
大數據與云計算的關系
大數據IT架構的基本特征,首先必須是可以擴展的,因為單點的技術無法承受大數據的要求。它的高可用性是通過軟件設計和架構設計來實現的,而不是通過傳統的高性能、高可用的高端設備來實現的。所以,從技術上看,大數據與云計算的關系就像一枚硬幣的正反面一樣密不可分。
大數據必然無法用單臺的計算機進行處理,必須采用分布式架構。而云計算的分布式處理、云存儲和虛擬化技術為大數據提供了IT基礎,保證了大數據應用的高效運行。
大數據的國家戰略
政府大數據價值:
- 數量上,表面上看,BAT擁有數以億計的用戶量,阿里巴巴的數據容量在100PB左右,而僅一個北京市政府就擁有幾百個PB的數據容量。當前,中央和省級政務部門的電子政務覆蓋率已經達到70%。粗略估算,全國政府大數據加起來至少該有數百甚至上千個阿里巴巴的體量。
- 質量上,百度擁有龐大的搜索記錄,但這些數據較為單一,不進行關聯引用毫無價值;騰訊擁有數億的QQ和微信用戶量以及更龐大的社交數據,但這些數據目前僅局限于營銷應用;阿里的交易數據似乎價值更高,但也只是局限在電商領域以及外延應用。政府大數據不同,它涉及工商、水務、司法、交通、醫療、教育、通信、金融、地理、氣象、房產、保險、農業、環境等領域,數據種類多,關聯性強,統計規格較為統一,事關百姓生活的方方面面,數據利用價值也最高。
政府大數據的應用:
- 截止2016年初,中國的智慧城市試點已達193個,而公開宣布建設智慧城市超過400個,投資總規模高達5000億元。智慧城市的概念包含了智慧政務、智慧能源、指揮交通、智慧醫療、智慧環保等都領域的應用,而這些都要依托于大數據,大數據產業是“智慧”的源泉,是智慧城市的推手。
總結
以上是生活随笔為你收集整理的产品经理学大数据——什么是大数据?(1)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 发票清单计算机怎么打印,如何导出自己开的
- 下一篇: mybatis使用map插入数据和Myb