使用Java开发一个做数据共享的联盟链思路
起因
公司要開發區塊鏈,原本是想著使用以太坊開發個合約或者是使用個第三方平臺來做,后來發現都不符合業務需求。原因很簡單,以太坊、超級賬本等平臺都是做共享賬本的,有代幣和挖礦等模塊。而我們需要的就是數家公司組個聯盟,來共同見證、記錄一些不可篡改的交互信息,如A公司給B公司發了一個xxx請求,B公司響應了什么什么。其實要的就是一個分布式數據庫,而且性能要好,不能像比特幣那種10分鐘才生成一個區塊。我們要的更多的是數據庫的性能,和區塊鏈的一些特性。
經過
項目于3月初開始研發,歷時一月發布了第一版。主要做了存儲模塊、加密模塊、網絡通信、公鑰私鑰、區塊內容解析落地入庫等。已經初步具備了區塊鏈的基本特征,但在共識機制、merkle tree、智能合約以及其他的一些細節上,尚不到位。
希望高手不吝賜教,集思廣益,提出見解或方案,來做一個區塊鏈平臺項目,適合更多的區塊鏈場景,而不僅僅是賬本和各種忽悠人的代幣。
理想中的區塊鏈平臺:?
項目說明
主要有存儲模塊、網絡模塊、加密模塊、區塊解析入庫等。
該項目屬于"鏈",非"幣"。不涉及虛擬幣和挖礦。本質上類似于騰訊區塊鏈項目trustsql。
存儲模塊
Block內存儲的是類Sql語句。聯盟間預先設定好符合業務場景需要的數據庫表結構,然后設定好各個節點對表的操作權限(ADD,UPDATE,DELETE),將來各個節點就可以按照自己被允許的權限,進行Sql語句的編寫,并打包至Block中,再全網廣播,等待全網校驗簽名、權限等信息的合法性。如果Block合法,則允許生成,生成后再全網廣播,各節點拉取新區塊。新區塊生成后,各節點進行區塊內容解析,并落地入庫的操作。
場景就比較廣泛了,可以設定不同的表結構,或者多個表,進而能完成各自類型信息的存儲。譬如商品溯源,從生產商、運輸、經銷商、消費者等,每個環節都可以對某個商品進行ADD信息的操作。
存儲采用的是key-value數據庫rocksDB,了解比特幣的知道,比特幣用的是levelDB,都是類似的東西。最近發現在部分Windows下,rocksDB加載失敗。也可以替換為levelDB,只需要修改2個類即可。
結構類似于sql的語句,如ADD(增刪改) tableName(表名)ID(主鍵) JSON(該記錄的json)。
網絡模塊
網絡層,采用的是各節點互相長連接、斷線重連,然后維持心跳包。網絡框架使用的是t-io,也是oschina的知名開源項目。t-io采用了AIO的方式,在大量長連接情況下性能優異,資源占用也很少,并且具備group功能,特別適合于做多個聯盟鏈的SaaS平臺。并且包含了心跳包、斷線重連、retry等優秀功能。
在項目中,每個節點即是server,又是client,作為server則被其他的N-1個節點連接,作為client則去連接其他N-1個節點的server。同一個聯盟,設定一個Group,每次發消息,直接調用sendGroup方法即可。
共識模塊
分布式共識一直都是個難題。
比特幣采用了POW工作量證明,需要耗費大量的資源進行hash運算(挖礦),由礦工來完成生成Block的權利。還有一些是采用選舉投票的方式來決定誰來生成Block。分布式共識算法有好幾種,具體的可以去查查。共同的特點就是只能特定的節點來生成區塊,然后廣播給其他人。
而我這里的場景不同,這是一個聯盟,各個節點是平等的,而且性能要高。所以我不想讓每個節點都生成一個指令后,發給其他節點,再大家選舉出一個節點來搜集網絡上的指令組合再生成Block,太復雜了。對于學習區塊鏈的新手來說,幾乎無法完成這個模塊。
那么我這里就簡單多了,任何節點都可以構建Block,然后全網廣播,只要過半節點校驗后同意即可。其他節點需要校驗格式、hash、簽名、和table的權限,校驗通過后,過半同意了,就可以構建Block并廣播全網,通知各節點更新Block。
生成Block后,再全網廣播,拉取Block,然后執行Block內的sql語句。
區塊信息查詢
各節點通過執行相同的sql來實現一個同步的sqlite數據庫(或mysql等其他關系型數據庫),將來對數據的查詢都是直接查詢sqlite,性能高于傳統的區塊鏈項目。
由于各個節點都能生成Block,在高并發下會出現區塊不一致的情況。如果因為某些原因導致鏈分叉了,也提供了回滾機制,sql可以回滾。原理也很簡單,你ADD一個數據時,我會在區塊里同時記錄兩個指令,一個是ADD,一個是回滾用的DELETE。同理,UPDATE時也會保存原來的舊數據。區塊里的sql落地,譬如順序執行1-10個指令,回滾時就是從10-1執行回滾指令。
每個節點都會記錄自己已經同步了的區塊的值,以便隨時進行sql落地入庫。
對區塊鏈信息的查詢,那就簡單了,直接做數據庫查詢即可。相比于比特幣需要檢索整個區塊鏈的索引樹,速度和方便性就大不同了。
簡單使用說明
使用方法:先啟動md_blockchain_manager項目,然后修改application.yml里的name、appid和managerUrl和manager項目數據庫里的一一對應,作為一個節點啟動即可。
可以通過訪問localhost:8080/block?content=1來生成一個區塊,至少要啟動2個節點才行,生成Block時需要除自己外的至少過半同意才行。生成Block后就會發現別的節點也會自動同步自己新生成的Block。目前代碼里默認設置了一張表message,里面也只有一個字段content,相當于一個簡單的區塊鏈記事本了。
可以通過localhost:8080/sqlite來查看sqlite里存的數據,就是根據Block里的sql語句執行后的結果。
我把項目部署到docker里了,共啟動4個節點,如圖:?
manager就是md_blockchain_manager項目,主要功能就是提供聯盟鏈內各節點ip?
四個節點ip都寫死了,都啟動后,它們會相互全部連接起來,并維持住長連接和心跳包。?
我調用一下block項目的生成區塊接口,http://ip:port/block?content=1
別的節點會是這樣,收到block項目請求生成區塊的請求、并開始校驗,回復是否同意?
當block項目收到過半的同意后,就開始生成區塊,并廣播給其他節點自己的新區塊,其他節點開始拉取新塊,校驗通過了則更新到本地。
這個生成區塊的接口是寫好用來測試的,正常走的流程是調用instuction接口,先生產符合自己需求的指令,然后組合多個指令,調用BlockController里的生成區塊接口。
項目開源地址:https://gitee.com/tianyalei/md_blockchain
總結
以上是生活随笔為你收集整理的使用Java开发一个做数据共享的联盟链思路的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 跟班学习JavaScript第二天———
- 下一篇: Powerbi 通过On-premise