MongoDB BI Connector 实战指南
生活随笔
收集整理的這篇文章主要介紹了
MongoDB BI Connector 实战指南
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
MongoDB 使用 BI Connector 來支持 BI 組件直接使用 SQL 或 ODBC 數據源方式直接訪問 MongoDB,在早期 MongoDB 直接使用 Postgresql FDW 來實現 SQL 到 MQL 的轉換,后來實現更加輕量級的 mongosqld 來支持 BI 工具的連接。
安裝 BI Connector
參考?Install BI Connector
wget https://info-mongodb-com.s3.amazonaws.com/mongodb-bi/v2/mongodb-bi-linux-x86_64-rhel70-v2.12.0.tgz$tar xvf mongodb-bi-linux-x86_64-rhel70-v2.12.0.tgz mongodb-bi-linux-x86_64-rhel70-v2.12.0/LICENSE mongodb-bi-linux-x86_64-rhel70-v2.12.0/README mongodb-bi-linux-x86_64-rhel70-v2.12.0/THIRD-PARTY-NOTICES mongodb-bi-linux-x86_64-rhel70-v2.12.0/example-mongosqld-config.yml mongodb-bi-linux-x86_64-rhel70-v2.12.0/bin/mongosqld mongodb-bi-linux-x86_64-rhel70-v2.12.0/bin/mongodrdl mongodb-bi-linux-x86_64-rhel70-v2.12.0/bin/mongotranslate- mongosqld 接受 SQL 查詢,并將請求發到 MongoDB Server,是 BI Connector 的核心
- mongodrdl 工具生成數據庫 schema 信息,用于服務 BI SQL 查詢
- mongotranslate 工具將 SQL 查詢轉換為 MongoDB Aggregation Pipeline
啟動 mongosqld
參考?Lauch BI Connector
mongodb-bi-linux-x86_64-rhel70-v2.12.0/bin/mongosqld --addr 127.0.0.1:3307 --mongo-uri 127.0.0.1:9555- --addr 指定 mongosqld 監聽的地址
- --mongo-uri 指定連接的 MongoDB Server 地址
默認情況下,mongosqld 自動會分析目標 MongoDB Server 里數據的 Schema,并緩存在內存,我們也可以直接在啟動時指定 schema 影射關系。schema 也可以直接 mongodrdl 工具來生成,指定集合,可以將集合里的字段 shema 信息導出。
$./bin/mongodrdl --uri=mongodb://127.0.0.1:9555/test -c coll01 schema: - db: testtables:- table: coll01collection: coll01pipeline: []columns:- Name: _idMongoType: float64SqlName: _idSqlType: float- Name: qtyMongoType: float64SqlName: qtySqlType: float- Name: typeMongoType: stringSqlName: typeSqlType: varchar使用 MySQL 客戶端連接 mongosqld
mongosqld 可直接支持 MySQL 客戶端訪問,還可以通過 Excel、Access、Tableau等BI工具連接
mysql --protocol=tcp --port=3307mysql> use test Database changed mysql> show tables; +----------------+ | Tables_in_test | +----------------+ | coll | | coll01 | | coll02 | | inventory | | myCollection | | yourCollection | +----------------+ 6 rows in set (0.00 sec)mysql> select * from coll01; +------+------+--------+ | _id | qty | type | +------+------+--------+ | 1 | 5 | apple | | 2 | 10 | orange | | 3 | 15 | banana | +------+------+--------+ 3 rows in set (0.00 sec)// 對照 MongoDB 數據庫里的原始數據mongo --port mymongo:PRIMARY> use test switched to db test mymongo:PRIMARY> show tables; coll coll01 coll02 inventory myCollection yourCollection mymongo:PRIMARY> db.coll01.find() { "_id" : 1, "type" : "apple", "qty" : 5 } { "_id" : 2, "type" : "orange", "qty" : 10 } { "_id" : 3, "type" : "banana", "qty" : 15 }SQL 轉 Aggregation
比如要將針對 test.coll01 的 SQL 查詢轉換為 MongoDB Aggregation Pipeline,需要先通過 mongodrdl 分析 schema,然后使用 mongotranslate 工具來轉換
// 導出分析的 shema 文件 $./bin/mongodrdl --uri=mongodb://127.0.0.1:9555/test -c coll01 > coll01.schema // SQL 轉換為 Aggregation $./bin/mongotranslate --query "select * from test.coll01" --schema coll01.schema [{"$project": {"test_DOT_coll01_DOT__id": "$_id","test_DOT_coll01_DOT_qty": "$qty","test_DOT_coll01_DOT_type": "$type","_id": NumberInt("0")}}, ]
原文鏈接
本文為云棲社區原創內容,未經允許不得轉載。
總結
以上是生活随笔為你收集整理的MongoDB BI Connector 实战指南的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 万字长文丨1分36秒,100亿,支付宝技
- 下一篇: 今天的这个小成绩,需要向阿里云的朋友报告