我們摒棄直接介紹數(shù)據(jù)庫內(nèi)核各個模塊的思路，而是從應(yīng)用開發(fā)者的角度出發(fā)，來看實現(xiàn)一個數(shù)據(jù)庫需要哪些基本功能，然后把這些功能細(xì)分成最小的模塊再手把手一起實現(xiàn)。

對與應(yīng)用開發(fā)者而言，一個數(shù)據(jù)庫需要哪些必要的功能呢？

1）創(chuàng)建數(shù)據(jù)庫和數(shù)據(jù)表：create database，schema, table等
2）存儲數(shù)據(jù)：insert /update數(shù)據(jù)，或者從其他方式導(dǎo)入數(shù)據(jù)(比如csv文件)
3）讀取查詢數(shù)據(jù)：通過SQL語句，對數(shù)據(jù)進(jìn)行讀取和查詢，比如sort，aggregate，filter等

因為要和數(shù)據(jù)庫交互，最必要的條件是有個客戶端程序可以接受用戶送來的指令。但要實現(xiàn)一個功能齊全的Parser可得花不少精力。內(nèi)核雜談，偷個懶，假設(shè)Parser已經(jīng)有實現(xiàn)，從而把精力都關(guān)注在數(shù)據(jù)庫系統(tǒng)內(nèi)部的實現(xiàn)。拋開Parser，又該從哪開始呢？
思路是跟著數(shù)據(jù)的流向，自下而上，依次從存儲數(shù)據(jù)，讀取數(shù)據(jù)和查詢數(shù)據(jù)來看。

創(chuàng)建和存儲數(shù)據(jù)
說到存儲，第一個想法就是文件系統(tǒng)（其實說到底數(shù)據(jù)庫系統(tǒng)就是一個特殊的文件系統(tǒng)，區(qū)別與普通文件系統(tǒng)提供的的讀寫文件的接口，數(shù)據(jù)庫只是提供了一個面向數(shù)據(jù)的接口：存儲，讀取和查詢；整個系統(tǒng)為這些接口提供服務(wù))。

以student表作為示例，要怎么把這張表存在文件中呢？

最顯而易見的就是用Comma-separated value(CSV)格式存:

1,"Xiaoputao",3,"Hiking"
2,"Zgu",3,"Running"
3,"Xiaopang",2,"Walking"

讀取CSV文件的邏輯也非常簡單: 一行一行讀取數(shù)據(jù)，然后根據(jù)";"把每個數(shù)據(jù)段取出。

除了CSV存儲，另一種常見的方式就是json格式:
[ {"id":1, "name":"Xiaoputao", "class":3, "hobby":"running}, ... ]

聊聊CSV和JSON存儲的優(yōu)缺點。兩者都屬于文本存儲，優(yōu)點一在于易于人類理解。另一個優(yōu)點就是直接兼容其他支持CSV和JSON的數(shù)據(jù)庫。缺點也很明顯，存儲效率不高，讀取效率也會隨之降低。另一個問題在于，上述例子中存儲的內(nèi)容只有值，沒有type和size(metadata)，這些信息在后續(xù)操作如校驗中是很重要的。當(dāng)然，我們可以把metadata加入到存儲中，比如，把json的每個val變成一個obj:{"colName":"id","colType":"int","colSize":4,"colVal":1}。
專業(yè)數(shù)據(jù)庫肯定不會選擇用CSV或JSON作為默認(rèn)存儲，但幾乎都支持CSV和JSON數(shù)據(jù)作為external table。如果要追求更高的性能，我們可以選擇更高效的編碼方式把數(shù)據(jù)以字節(jié)流的形式存儲在文件中；只要數(shù)據(jù)庫系統(tǒng)自身能夠讀取這些數(shù)據(jù)即可。
時間有限，當(dāng)然是一切從簡，就選擇CSV或者JSON的文件格式來存儲我們的數(shù)據(jù)。

只要有一個文本編輯器，能夠創(chuàng)建和編輯CSV或者JSON文件。這其實這已經(jīng)完成了創(chuàng)建數(shù)據(jù)表，輸入，修改以及存儲數(shù)據(jù)的功能。

讀取數(shù)據(jù)
基于上述用CSV或JSON的存儲，讀取數(shù)據(jù)非常簡單(允許我們調(diào)用第三方支持CSV或者JSON的API)。重點在于讀取完存放在怎樣一個數(shù)據(jù)結(jié)構(gòu)中方便后續(xù)對數(shù)據(jù)進(jìn)一步的查詢操作。根據(jù)數(shù)據(jù)的特性，結(jié)果集(RowSet)是由一序列的行數(shù)據(jù)(Row)組成，每一行又由多個單元(Cell)組成。我們試著根據(jù)這個概念設(shè)計下面這些類：

Cell, Row, RowSet Class
簡單梳理下，每個Cell存type，size，和value；Row存一整行cell；RowSet存一序列的Row。具體在實現(xiàn)中還有很多細(xì)節(jié)需要注意，如typecheck, 確保每行列數(shù)相同，等等，這里也一并從簡略過。定義了存儲方式和數(shù)據(jù)結(jié)構(gòu)，具體數(shù)據(jù)讀取代碼如下；

讀取csvToRowSet和jsonToRowSet的實現(xiàn)只需要借助第三方CSV和JSON的類庫就能實現(xiàn)，就不贅述代碼了。

執(zhí)行查詢
有了存儲和讀取，已經(jīng)可以把數(shù)據(jù)從文件中讀取到內(nèi)存，接下來就要支持用戶的查詢語句了。實現(xiàn)查詢就是去實現(xiàn)SQL語句中的各個功能模塊，比如排序(order by), 聚合(group by)，多表聯(lián)合(join)等等。執(zhí)行器會對每個功能模塊進(jìn)行實現(xiàn)，甚至針對不同的數(shù)據(jù)分布，會有多種方式的實現(xiàn)來提高讀取速度。現(xiàn)在，我們一起來討論一些常用的語言功能。

全表讀取(SELECT *)
其實，定義了RowSet的數(shù)據(jù)結(jié)構(gòu)和實現(xiàn)了讀取文件的接口，我們的數(shù)據(jù)庫就已經(jīng)支持全表讀取的SQL語句，示例如下：

SELECT * FROM student;

分頁語句(LIMIT)
一下子就能想到的分頁語句，用來限制輸出的數(shù)據(jù)行數(shù)：

Limit Operator
一行代碼，不解釋了。

關(guān)系映射語句(PROJECTION)
關(guān)系映射的本質(zhì)是對于輸入的RowSet的每一行(row), 通過各種標(biāo)量計算，輸出一個新的數(shù)據(jù)行，再由這些行組成新的RowSet。見下圖示例：

SELECT id + 5, LEN(name) FROM student;

對從student表讀取的每一行數(shù)據(jù)，輸出一個新的數(shù)據(jù)行包含 id + 5 和 LEN(name)的cells。

Projection可以非常復(fù)雜，但有一條準(zhǔn)則就是它不改變原有RowSet的基數(shù)(cardinality), 即新RowSet的行數(shù)和原來的相同。因此，無論映射邏輯多復(fù)雜，輸入一個Row，輸出一個Row。再復(fù)雜的計算，也是一比一步迭代產(chǎn)生。比如上述示例可以分解成下面這些操作來完成：對于每一行input row, id值加5，對name取length，最后去掉class和hobby兩列。歸根結(jié)底就是將復(fù)雜的運(yùn)算拆分成原子操作然后一步一步地順序執(zhí)行。我們可以定義如下兩個基本operator：RowComputeOperator根據(jù)定義的computeCellVal對input row計算一個新cell，并把這個cell加到原row的末尾。SelectionOperator根據(jù)給定的indexes，生成一個僅包含指定index的新row。Pseudo code如下：

RowComputeOperator and SelectionOperator
RowComputeOperator里面有需要定義computeCellVal，輸入是一個row,輸出一個新的cell。具體實現(xiàn)則根據(jù)具體語義來定。定義一個computeCellVal需要2個參數(shù)：1）運(yùn)算作用在哪些cell上，假設(shè)限制只能作用在1個或2個cell上(2個以上可以用多個Operator嵌套)；2）提供具體計算的操作，比如常見單元操作如len(), ceiling(), abs()或者常見的二元操作如+-*/等等。

有了這兩個基本operator, 實現(xiàn)示例中的projection，我們定義3個operator即可：1）compute a new cell using "(id + 5)" 2) compute a new cell using "len(name)" 3) 用SelectionOperator選擇最后兩個新生成的cell。

實現(xiàn)整個projection的operator的pseudo code如下：

Projection Operator
條件選擇語句(WHERE)
有了Projection，我們就可以實現(xiàn)下面的條件選擇語句(WHERE)了：

SELECT * FROM student WHERE class = 3;

實現(xiàn)想法很簡單，首先用Projection operator計算出filter condition的值(bool)，然后filter by 這個cell即可。

Filter Operator
排序語句(ORDER BY)
這里，我給一個非常低效但很容易理解的實現(xiàn)：創(chuàng)建一個hashmap來存<cell, id>，然后對要sort的cell排序，根據(jù)cell順序取出原row組成新的rowSet輸出：

Sort Operator
有讀者會問，如果排序語句是一個expression而不是單個column怎么辦？比如下面的示例:

SELECT * FROM student ORDER BY id + 5 ASEC;

還記得我們前面實現(xiàn)的projection嗎？這里把(id + 5)作為一個新的projection加入到Row中即可。

一起實現(xiàn)了4個Operator，看看有沒有什么規(guī)律可循？所有定義的操作都是基于一個原則：輸入一個RowSet，然后輸出一個RowSet。并且，是一層一層循序漸進(jìn)的迭代。對于數(shù)據(jù)的查詢操作，是從最初讀取表中的原始數(shù)據(jù)開始，根據(jù)給定的Operator序列對數(shù)據(jù)逐一進(jìn)行操作；這一個Operator的輸出就是下一個operator的輸入。也就是說，給定一個SQL查詢語句，我們生成一序列Operator的tree，再依次執(zhí)行，就能得到最終結(jié)果。現(xiàn)在來一起優(yōu)化下代碼，把Operator的接口抽象出來，然后把剛才實現(xiàn)的operator全當(dāng)成子類來實現(xiàn)。代碼如下：

Unary Operator
疑問，基類為什么叫UnaryOperator呢？有了基類，我們可以根據(jù)SQL的語法功能實現(xiàn)相應(yīng)的Operator。

聚合操作(AGGREGATION)
接著一起來實現(xiàn)聚合操作。Aggregation分為兩大類，scalar-agg和multi-agg。scalar-agg就是簡單的sum, avg, min, max等的數(shù)據(jù)聚合操作，最終返回一個數(shù)據(jù)行的結(jié)果集，實現(xiàn)代碼如下：

Scalar-agg
每個AggOp接受一序列的cells，然后輸出聚合結(jié)果的cell。常見的AggOp如sum, max，min實現(xiàn)都很簡單，這邊就不贅述了。

multi-agg對應(yīng)SQL中的GROUP By，如下圖示例：

SELECT class_room, COUNT(*) FROM student;

比scalar-agg復(fù)雜的地方就是先要把有相同值的group by columns(示例中為class_rom)的row合并起來，然后對合并后的rows做Scala-agg即可。代碼我就不貼啦，當(dāng)留個小作業(yè)給大家。

SQL Operator Tree
有了實現(xiàn)基本語義的Operator，要實現(xiàn)一個完整的查詢語句，我們要做的就是把operator一層一層的累加起來，形成一個Operator tree，然后根據(jù)這個operator tree, 依次執(zhí)行每一個operator即可。比如下面這個查詢語句：

select class, sum(id + len(name)) as c

from (

? ? select * from student where hobby = 'hiking' limit 10

)

group by class;

我們只要建立如下的Operator tree：

sql operator tree
有沒有覺得挺神奇的！即使再復(fù)雜的查詢SQL都能這樣用基本的operator像搭樂高一樣搭建起來。

小結(jié)
至此，我們簡單的數(shù)據(jù)庫也實現(xiàn)得差不多啦。我看了下自己寫的pseudo code僅僅200多行，一個小時寫完也不算條件太苛刻。雖然數(shù)據(jù)結(jié)構(gòu)冗余，算法低效，但是麻雀雖小，五臟俱全！

為什么基類定義為UnaryOperator？因為我們還有BinaryOperator。二元的操作是做什么的呢？答案就是為了表與表的聯(lián)合(join)。有了Binary Operator，Operator的疊加就真正變成了一顆樹(二叉樹)，這也是為什么前文我們稱之為operator tree。本文就先不詳述如何實現(xiàn)Join Operator了，以后會有專門的章節(jié)來覆蓋。再講下去，肯定超過一個小時，讀者就更覺得我標(biāo)題黨了。

最后給大家總結(jié)一下：

1）一個SQL的查詢語句，即便邏輯再復(fù)雜，也可以拆分成一個一個原子operator的疊加
2）把這些operator組建成一個operator tree，然后自底向上地依次執(zhí)行，就能得到最終的查詢結(jié)果
3) 你可能覺得真正的數(shù)據(jù)庫和我們在這搗鼓的很不一樣。如果有條件，可以在Mysql或者Postgres中運(yùn)行"EXPLAIN SQL_STMT"來打印它們生成的operator tree，你會發(fā)現(xiàn)和我們生成的樹挺相似的

總結(jié)

以上是生活随笔為你收集整理的数据库内核杂谈 - 一小时实现一个基本功能的数据库的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。