ByConity 社区回顾|ByConity 和开发者们一起展望未来,携手共进!
更多技術(shù)交流、求職機會,歡迎關(guān)注字節(jié)跳動數(shù)據(jù)平臺微信公眾號,回復(fù)【1】進入官方交流群
新年伊始,我們想在這里感謝一群 ByConity 社區(qū)的小伙伴們。
正是因為有社區(qū)的開發(fā)者的支持,截止到 2023 年底,ByConity GitHub 獲得 1409 Star,595 pull request,累計 61 位 Contributor 共建者參與代碼貢獻,社區(qū)主辦活動超過 10 場,來自知乎、MetaApp、天翼云、Shein、烽火軟件、攜程等多家企業(yè)用戶正在基于 ByConity 做技術(shù)實踐和探索。
版本發(fā)布
2023 年 1 月 10 日, ByConity 發(fā)布 Beta(v0.1.0-beta)版本,并在社區(qū)小范圍征集用戶試用,2023 年 5 月,ByConity 正式宣布開源。在這一年里,ByConity 先后經(jīng)歷了 3 個版本的迭代。
2023 年 12 月 18 日, ByConity 0.3.0 版本正式發(fā)布。這個版本提供了倒排索引,基于共享存儲的選主方式等多項新特性,對冷讀性能進行了進一步的優(yōu)化,對 ELT 能力也進行了進一步的迭代,同時修復(fù)了若干已知問題,進一步提升了系統(tǒng)的性能和穩(wěn)定性。
- 倒排索引: 在 ByConity 使用過程中,很多業(yè)務(wù)對文本檢索相關(guān)能力(如 StringLike)提出了非常高的需求,希望社區(qū)能夠優(yōu)化相關(guān)查詢性能,同時兼容 ClickHouse 在今年支持的倒排索引的能力。為滿足業(yè)務(wù)訴求,保持生態(tài)兼容,同時提升 ByConity 的文本檢索能力,ByConity 在 0.3.0 版本加入了對文本檢索的支持,為日志數(shù)據(jù)分析等場景提供高性能查詢。
- 基于共享存儲的選主方案: 在 ByConity 架構(gòu)中存在多種控制節(jié)點,它們需要各自通過多副本 + 選主來提供高可用的服務(wù)能力,例如 Resource Manager,TSO 等。實際中的多個計算 server,也需要選出一個單節(jié)點來執(zhí)行特定的讀寫任務(wù)。之前 ByConity 使用了 clickhouse-keeper 組件來進行選主,該組件基于 Raft 實現(xiàn),提供兼容 zookeeper 的選主接口。但是在實際的使用中遇到了很多運維問題,例如需要部署 3 個以上節(jié)點才能提供容災(zāi),增加運維負擔(dān);節(jié)點增刪和服務(wù)發(fā)現(xiàn)流程復(fù)雜;容器重啟后如果服務(wù)變換 ip 和服務(wù)端口,keeper 組件難以快速恢復(fù),等等。考慮 ByConity 作為一個新的云原生服務(wù),并不需要兼容 ClickHouse 對 zookeeper 的訪問,我們選擇了基于存算分離的云原生架構(gòu)實現(xiàn)一種新的選主方式來優(yōu)化以上問題。
- 冷讀性能的進一步提升: 在 ByConity 0.2.0 中,我們通過引入 IOScheduler 等方式提高了冷讀查詢的性能,尤其是在 S3 上的冷讀性能。0.3.0 版本通過引入 ReadBuffer 的 Preload 等優(yōu)化,進一步提高了冷讀性能。
- ELT 能力增強: 在 0.3.0 中,我們引入新的 BSP 模式,通過 stage by stage 的執(zhí)行以及增強 disk based shuffle,滿足有限條件下的計算,提高吞吐。在 ByConity 中復(fù)雜查詢對 query plan 的 stage 進行了切分并進行了 stage by stage 的調(diào)度,但在語義上仍然是 all at once 的調(diào)度。ELT 在執(zhí)行時需要對查詢進行分階段運行,需要進一步達到 stage by stage 執(zhí)行的效果。
更多 0.3.0 相關(guān)特性及優(yōu)化的內(nèi)容大家可以復(fù)制鏈接查看:https://github.com/ByConity/ByConity/releases/tag/0.3.0
RoadMap
2024 年 ByConity 計劃每個季度一個版本 Release,發(fā)布節(jié)奏如下:
在 2024 年,我們?nèi)詫⒊掷m(xù)在 GitHub 上同步社區(qū)的 RoadMap:https://github.com/ByConity
社區(qū)活動
2023 年 ByConity 主辦了 2 場線下活動,連接北京和上海的開發(fā)者們。
2024 年我們會在更多的城市舉辦 Meetup,歡迎大家與我們交流希望我們舉辦 Meetup 的城市,我們會在 2024 年在線下匯聚更多大數(shù)據(jù)領(lǐng)域的開發(fā)者們,共同探討大數(shù)據(jù)、數(shù)據(jù)庫前沿技術(shù)及其應(yīng)用,同時也為當?shù)氐拈_發(fā)者們提供一個友好交流的技術(shù)平臺。
同時,我們也參與了 GOTC、QCon、DTCC、CosCon'23、國際開源節(jié)云原生技術(shù)沙龍、Fintech Festival 等多場外部大會的演講。我們在這些活動中分享了關(guān)于 ByConity 的最新技術(shù)、應(yīng)用和發(fā)展,與來自不同領(lǐng)域的專家、學(xué)者和開發(fā)者進行了深入的交流和探討。
2023 年 ByConity 主辦每月一次的線上 webinar,為社區(qū)的開發(fā)者們介紹 ByConity 的最新技術(shù)特性。為了讓大家了解 ByConity 的查詢性能,我們發(fā)布了第一期 TPC-DS 測試活動 。 6 月初我們分享了 ByConity 在云上部署的方法:《ByConity 如何在 Kubernetes 上無感擴縮容》之后收到很多用戶反饋和建議,例如部署過程中需要安裝的組件過多、本地軟硬件環(huán)境引起部署失敗等問題。因此我們做了一些優(yōu)化,提供了更加容易上手的一鍵部署方式,主辦了 ByConity 快速部署有獎?wù)骷顒印?/p>
社區(qū)榮譽
在眾多開發(fā)者及合作伙伴的鼎力支持下,ByConity 社區(qū)在過去一年取得了開源圈內(nèi)的榮譽。我們榮獲了思否「2023 中國技術(shù)先鋒年度榜單—中國技術(shù)品牌影響力企業(yè)」、IT168「2023 年度技術(shù)卓越獎」等開源獎項,得到了在大數(shù)據(jù)領(lǐng)域的影響力和專業(yè)度。
這些榮譽的背后,離不開每一位社區(qū)成員的付出與努力。在此,我們衷心感謝大家的支持與信任。
為了持續(xù)優(yōu)化我們的產(chǎn)品和服務(wù),ByConity 社區(qū)始終保持開放、包容的態(tài)度,歡迎各位有志之士共同參與社區(qū)建設(shè)。無論您是對我們的產(chǎn)品有任何疑問,還是對社區(qū)發(fā)展有任何建議,都可以在 GitHub 上提交 PR 或 Issues。同時,我們也誠邀各位成為 ByConity 社區(qū)的 Contributor,與我們攜手共建一個更加開放、活躍、有價值的社區(qū)。讓我們共同見證 ByConity 社區(qū)的成長與繁榮!
加入社區(qū)
在過去的一年里,社區(qū)共建者們的貢獻如星辰大海般璀璨。展望未來,我們期待與更多的志同道合者共同成長,一起邁向更高的目標。讓我們攜手并進,共同開啟新的征程!歡迎大家掃碼加入 ByConity 微信交流群(備注姓名+公司+職位)。
新年禮包
最后,我們?yōu)榇蠹覝蕚淞艘慌埬甓Y包??
歡迎大家點擊鏈接填寫問卷(截止日期 2024 年 2 月 18 日)(https://bytedance.larkoffice.com/share/base/form/shrcnIQ2rsbQV9YiJGoY8Dajh4f),回顧你與 ByConity 社區(qū)相識相知的故事~我們會選出 10 位社區(qū)小伙伴送上定制周邊??
總結(jié)
以上是生活随笔為你收集整理的ByConity 社区回顾|ByConity 和开发者们一起展望未来,携手共进!的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 面试官:如何保证本地缓存的一致性?
- 下一篇: SpringBoot 2.x 正式停更了