大量SQL的解决方案——sdmap
大量SQL的解決方案——sdmap
最近看到群里面經常討論大型應用中?SQL的管理辦法,有人說用?EF/?EFCore,但很多人不信任它生成?SQL的語句;有人說用?Dapper,但將?SQL寫到代碼中有些人覺得不合適;有人提出用存儲過程,但現在輿論紛紛反對這種做法;有人提出了?iBatis.NET,它可以配置確保高靈活性高性能,也提供動態?SQL的功能,但已經多年沒有維護。
在幾年前,我們某項目中就有總共?4MB以上的?SQL語句文本,我也注意到產品做大后會,一定出現這個問題,所以我就依照?MyBatis的核心思想,支持可配置、動態?SQL,但去除了臃腫的?xml,自己實現了一套簡單好用的語法,然后開源了出來,名字就叫?sdmap。
在我的介紹頁面上已經指出,?sdmap的如下特性:
非常簡單的語法來描述動態?SQL;
使用了?EmitCIL來確保性能;
有?VisualStudio插件支持,實現了代碼高亮、代碼折疊、快速導航的特性;
支持所有主流數據庫,如?MySQL、?SQLServer、?SQLite等(只要?Dapper能支持);
可以擴展支持非關系型數據庫,如?Neo4j;
單元測試全覆蓋。
語法
如圖:?
該語法有如下特點:
用?namespace關鍵字表達名字空間;
用?sql關鍵字表示模板語句;
用?#號的特殊語法可以進行一些判斷,里面有?isEqual<>、?#isNotEmpty<>等特殊語法;
用?#include<>,可以包含另一個?SQL語句;
語句可以嵌套,?sql{}中可以包含另一個?sql{}。
我們可以對比一下?iBatis/?MyBatis的語法:
<!DOCTYPE mapperPUBLIC "-//mybatis.org//DTD Mapper 3.0//EN""http://mybatis.org/dtd/mybatis-3-mapper.dtd"> <mapper namespace="org.apache.ibatis.submitted.rounding.Mapper"><resultMap type="org.apache.ibatis.submitted.rounding.User" id="usermap"><id column="id" property="id"/><result column="name" property="name"/><result column="funkyNumber" property="funkyNumber"/><result column="roundingMode" property="roundingMode"/></resultMap><select id="getUser" resultMap="usermap">select * from users</select><insert id="insert">insert into users (id, name, funkyNumber, roundingMode) values (#{id}, #{name}, #{funkyNumber}, #{roundingMode})</insert><resultMap type="org.apache.ibatis.submitted.rounding.User" id="usermap2"><id column="id" property="id"/><result column="name" property="name"/><result column="funkyNumber" property="funkyNumber"/><result column="roundingMode" property="roundingMode"typeHandler="org.apache.ibatis.type.EnumTypeHandler"/></resultMap><select id="getUser2" resultMap="usermap2">select * from users2</select><insert id="insert2">insert into users2 (id, name, funkyNumber, roundingMode) values (#{id}, #{name}, #{funkyNumber}, #{roundingMode, typeHandler=org.apache.ibatis.type.EnumTypeHandler})</insert> </mapper>相比之下,由于?XML的存在,?MyBatis的語法有更多噪音。
簡單應用
Hello World
其實和?MyBatis不同,?sdmap設計之初就只考慮好好做一個小巧、精致、快速的模板引擎。因此?sdmap可以不依賴于任何數據庫,只做字符串解析,最簡單的代碼是:
// 安裝NuGet包:sdmap var c = new SdmapCompiler(); c.AddSourceCode("sql v1 {Hello World}"); Console.WriteLine(c.Emit("v1", null)); // Hello World參數傳入
當然有一些前端輸入,這樣就需要第二個參數:
var c = new SdmapCompiler(); c.AddSourceCode("sql v1 {Hello #prop<Name>!}"); Console.WriteLine(c.Emit("v1", new { Name = "Hero"})); // Hello Hero!注意我使用了一個?#prop<>的語法,這是?sdmap中調用指令的語句,表示將?Name屬性按原樣顯示在此處。
參數判斷
有些語句需要根據前端的不同而不同,比如典型的“動態?SQL”問題,如果前端傳了參數,則執行過濾,沒有傳則不過濾,這樣的代碼如下:
var c = new SdmapCompiler(); c.AddSourceCode(@" sql v1 {SELECT * FROM [Customer]WHERE 1=1#isNotEmpty<Location, sql {AND Location = '#prop<Location>'} }"); Console.WriteLine(c.Emit("v1", new { Id = 1, Location = "長沙"})); Console.WriteLine(c.Emit("v1", new { Id = 2, Location = ""}));輸出結果如下:
SELECT * FROM [Customer] WHERE 1=1 AND Location = '長沙'SELECT * FROM [Customer] WHERE 1=1可見,關鍵的那個?isNotEmpty<>控制了?Location判斷的語句。
擴展:sdmap.ext
每次使用時,都需要實例化一個?SdmapCompiler來加載?sdmap語句很麻煩,在項目中,這部分邏輯重用度非常高,因此我寫了一個擴展:?sdmap.ext,定義了?ISdmapEmiter接口,該接口定義如下:
public interface ISdmapEmiter {string Emit(string statementId, object parameters); }相當于最簡單的生成器,然后我寫了幾個內置實現,可以直接從文件系統或者程序集嵌入的資源中讀入這些文件:
public class EmbeddedResourceSqlEmiter : ISdmapEmiter { public static EmbeddedResourceSqlEmiter CreateFrom(Assembly assembly);// ... } public class MultipleAssemblyEmbeddedResourceSqlEmiter : ISdmapEmiter {public static MultipleAssemblyEmbeddedResourceSqlEmiter CreateFrom(params Assembly[] assemblies);// ... } public class FileSystemSqlEmiter : ISdmapEmiter {public static FileSystemSqlEmiter FromSqlDirectory(string sqlDirectory,bool ensureCompiled = false);public static FileSystemSqlEmiter FromSqlDirectoryAndWatch(string sqlDirectory,bool ensureCompiled = false);// ... }那么有人會問,數據庫參數化該如何實現呢?
擴展:sdmap.ext.Dapper
答案是?Dapper,?sdmap訪問數據庫時,依賴?Dapper做參數化。其實很好理解,?sdmap只做數據庫訪問時的?SQL模板引擎前端,?Dapper做后端(當然不一定非要用?Dapper),?sdmap只負責生成?SQL語句。
但隨著大家使用越來越多,我也注意到確實可以寫一些東西,便于大家更好地配合?Dapper一起使用。因此我寫了另外兩個擴展:?sdmap.ext和?sdmap.ext.Dapper。
其中?sdmap.ext仍然和數據庫無關,定義了一些?.sdmap文件的讀取和自動加載邏輯;?sdmap.ext.Dapper依賴于?Dapper,定義了一些便利方法:?
如圖,用過?Dapper的朋友知道,?Dapper為?IDbConnection定義了一套擴展方法,這里我也為?IDbConnection定義了一套一樣的擴展,只要最后加了?ByMap后綴,第二個參數都為?sqlMapName,與其傳入原始的?SQL語句,此處將傳入定義在?.sdmap文件中的配置,如原先使用?Dapper的朋友,代碼可能這樣寫:
換成?sdmap后,代碼應該是這樣寫:
var data = _db.QueryByMap<Customer>("Customers.GetById");然后?sdmap配置如下:
namespace Customers {sql GetById{SELECT * FROM [Customer] WHERE Id = @Id} }注意,?sdmap使用了?Dapper的參數化方式,只需在?SQL中寫?@Id這樣的語句,即可自動實現參數化,得出結果完全一樣,并且?SQL不存在注入問題,代碼中不包含?SQL語句,語句都寫在配置文件中。
數組參數化
由于?Dapper的存在,?sdmap相當于也自動支持了數組的參數化,只要像?Dapper那樣寫?IN即可:
namespace Customer {sql GetByIds{SELECT * FROM [Customer] WHERE Id IN @Ids} }相關鏈接
Github地址
https://github.com/sdcb/sdmap?我的?Github首頁還包含了使用?sdmap.ext.Dapper的一步一步使用教程,可以依照上面的使用。
文檔地址
https://github.com/sdcb/sdmap/wiki
所有指令參考鏈接:
https://github.com/sdcb/sdmap/wiki/Common-macros
NuGet包地址
https://www.nuget.org/packages/sdmap
https://www.nuget.org/packages/sdmap.ext
https://www.nuget.org/packages/sdmap.ext.Dapper
VisualStudio插件地址
https://marketplace.visualstudio.com/items?itemName=sdmapvstool.sdmapvstool
VS插件提供了?.sdmap文件代碼高亮、自動定位、代碼折疊的功能,可以不裝,但不裝就沒這些體驗。
總結
我寫?sdmap最初純粹是因為想挑戰自己,它包含了【編譯器前端——?ANTLR】、【編譯器后端——?CIL】、【?VisualStudio插件如何制作】、單元測試、文檔等主題。
但后來隨著這個項目的發展,越來越多的朋友用了起來。用過的都紛紛提出了自己的想法,然后做了許多潤色,解決了不少局限性,但我從未做過推廣——這是我第一次將這個項目用文字的形式發表出來。希望這個項目能給大家以管理大量?SQL的啟發。
上文中提到了許多有意思的主題,?2020年到了,我有空就會一一介紹這些主題,都非常有意思,最重要的是,其實都很好學????。喜歡的朋友請關注我的微信公眾號:
總結
以上是生活随笔為你收集整理的大量SQL的解决方案——sdmap的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: C#录制视频
- 下一篇: 过去10年技术人员有哪些状态改变?