分布式技術(shù)追蹤 2017年第四期

歡迎大家訂閱 高柯用架構(gòu)師 微信公眾號(hào), 除了"每周一報(bào)"之外, 還有更多原創(chuàng)技術(shù)文章等著你.

分布式系統(tǒng)實(shí)踐

1. Apache Beam成功孵化為Apache頂級(jí)項(xiàng)目：將統(tǒng)一大數(shù)據(jù)平臺(tái)的開(kāi)發(fā)

http://dwz.cn/55wHAI

摘要: Apache Beam 在2016年1月發(fā)布第一個(gè)版本，由 Google 捐獻(xiàn)給開(kāi)源社區(qū)，凝聚著 Google 研發(fā)大數(shù)據(jù)基礎(chǔ)設(shè)施的多年經(jīng)驗(yàn). Beam將現(xiàn)階段流行的大數(shù)據(jù)分析框架(比如Spark, Flink, Apex, google Cloud DataFlow等)抽象出來(lái), 提供統(tǒng)一的SDK, 支持批處理和流式計(jì)算, 來(lái)簡(jiǎn)化針對(duì)不同框架帶來(lái)的學(xué)習(xí)和研發(fā)成本, 也可以方便用戶在不同的框架上遷移已有代碼.

?

2. 奇虎360開(kāi)源其日志搜索引擎，可處理百萬(wàn)億級(jí)的數(shù)據(jù)

http://dwz.cn/55yilf

摘要: 日志的全文檢索能力在很多場(chǎng)景下都有需求, 這篇文章介紹了360針對(duì)APT事件的全文檢索系統(tǒng)”波塞冬”. “波塞冬”基于NoSQL(redis)和HDFS自主研發(fā)的, 支持百萬(wàn)億條大小100PB的日志, 可以實(shí)現(xiàn)秒級(jí)響應(yīng), 適用于大量小日志事件的全文檢索系統(tǒng).

?

服務(wù)化和虛擬化技術(shù)

1. Kubernetes 有狀態(tài)集群服務(wù)部署與管理

http://dwz.cn/56Mwci

摘要: 為了支持有狀態(tài)的服務(wù), k8s引入了PetSet(新版本叫做StatefulSet)和Persistent Volume的概念, 幫助容器持久化數(shù)據(jù), 比如MySQL的數(shù)據(jù). 本文詳細(xì)介紹了k8s對(duì)于有狀態(tài)容器的技術(shù)支持, 最后通過(guò)一個(gè)部署MySQL的例子, 更直觀的演示了利用k8s部署有狀態(tài)容器的過(guò)程.

?

2. 知乎服務(wù)化的實(shí)踐與思考

http://dwz.cn/57CxSJ

摘要: 隨著業(yè)務(wù)不斷復(fù)雜, 服務(wù)化通常是比較理想的解決方案. 但是任何事務(wù)都有兩面性, 把握好服務(wù)化的”度”很重要, 而這方面沒(méi)有通用的技術(shù)可以幫助我們, 只能依靠業(yè)務(wù)和經(jīng)驗(yàn). 這篇文章介紹了知乎服務(wù)化的實(shí)踐過(guò)程, 供我們參考.

?

高可用技術(shù)

1. Google基礎(chǔ)設(shè)施安全設(shè)計(jì)概述

http://dwz.cn/56bzdF

摘要: 這篇文章介紹了Google基礎(chǔ)設(shè)施中安全設(shè)施的技術(shù)概述, 包括物理設(shè)施, 數(shù)據(jù)加密, RPC訪問(wèn)控制, 服務(wù)沙箱, 代碼版本控制, 用戶數(shù)據(jù)的訪問(wèn), 數(shù)據(jù)刪除策略, 拒絕服務(wù)保護(hù), 操作安全和審計(jì)等方面, 再次感嘆一下Google基礎(chǔ)設(shè)施的強(qiáng)大.

?

2. tcpdump 和 wireshark組合拳，揪出有問(wèn)題的機(jī)器

http://dwz.cn/57nq2B

摘要: 一篇小短文介紹了一個(gè)真實(shí)的利用tcpdump分析出有問(wèn)題的機(jī)器的案例. tcpdump可以說(shuō)是追查網(wǎng)絡(luò)問(wèn)題的大殺器了, 我們經(jīng)常在應(yīng)用層無(wú)法進(jìn)一步確認(rèn)網(wǎng)絡(luò)問(wèn)題的時(shí)候, 嘗試使用tcpdump來(lái)追查網(wǎng)絡(luò)問(wèn)題, 也可以用來(lái)指導(dǎo)網(wǎng)絡(luò)參數(shù)的設(shè)置.

?

運(yùn)維和DevOps技術(shù)

1. 云數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)維的苦與樂(lè)

http://dwz.cn/56kZ14

摘要: 在虛擬化之前, 網(wǎng)絡(luò)運(yùn)維往往處于靜態(tài)模式, 所以遇到的問(wèn)題不太多, 場(chǎng)景也相對(duì)簡(jiǎn)單. 但是虛擬化之后, 網(wǎng)絡(luò)的世界變成了最復(fù)雜的部分, 給網(wǎng)絡(luò)的運(yùn)維也提出了很大的挑戰(zhàn). 這篇文章簡(jiǎn)單介紹了虛擬化網(wǎng)絡(luò)的運(yùn)維方案.

?

2. 當(dāng)我們?cè)趽尲t包時(shí)，微信運(yùn)維在做什么？

http://dwz.cn/56LVzp

摘要: 微信支付成功的搶了支付寶的風(fēng)頭, 但是支撐微信支付的技術(shù)卻不簡(jiǎn)單. 這篇文章介紹了微信支付后臺(tái)MySQL數(shù)據(jù)庫(kù)的運(yùn)維技術(shù), 包括DB CMDB, 變更自助化, 高可用性等方面, 很多運(yùn)維思路的轉(zhuǎn)變和我們也很相似, 推薦給大家閱讀.

?

豐富多彩的計(jì)算機(jī)世界

1. 機(jī)器學(xué)習(xí)經(jīng)典案例：解析微信朋友圈的lookalike算法

http://dwz.cn/56MWoq

摘要: 很多朋友都收到過(guò)朋友圈廣告吧, 而且還會(huì)經(jīng)常發(fā)生互動(dòng)(比如點(diǎn)贊, 評(píng)論). 那么大家有沒(méi)有想過(guò)投放廣告的時(shí)候是如何選定目標(biāo)客戶的? 這篇文章介紹了微信朋友圈的lookalike算法, 利用機(jī)器學(xué)習(xí)技術(shù)篩選廣告主的潛在客戶.

?

2. Google發(fā)布新的圖像壓縮技術(shù)，最高可節(jié)省75％帶寬

http://dwz.cn/57oLVb

摘要: Google的黑科技, 利用機(jī)器學(xué)習(xí)技術(shù)實(shí)現(xiàn)了圖像壓縮技術(shù)的突破. 詳細(xì)內(nèi)容大家可以閱讀論文.

轉(zhuǎn)載于:https://www.cnblogs.com/zhengran/p/6336628.html

總結(jié)

以上是生活随笔為你收集整理的分布式技术追踪 2017年第四期的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。