大量SQL的解决方案——sdmap
大量SQL的解決方案——sdmap
最近看到群里面經常討論大型應用中?SQL的管理辦法，有人說用?EF/?EFCore，但很多人不信任它生成?SQL的語句；有人說用?Dapper，但將?SQL寫到代碼中有些人覺得不合適；有人提出用存儲過程，但現在輿論紛紛反對這種做法；有人提出了?iBatis.NET，它可以配置確保高靈活性高性能，也提供動態?SQL的功能，但已經多年沒有維護。
在幾年前，我們某項目中就有總共?4MB以上的?SQL語句文本，我也注意到產品做大后會，一定出現這個問題，所以我就依照?MyBatis的核心思想，支持可配置、動態?SQL，但去除了臃腫的?xml，自己實現了一套簡單好用的語法，然后開源了出來，名字就叫?sdmap。
在我的介紹頁面上已經指出，?sdmap的如下特性：
非常簡單的語法來描述動態?SQL；
使用了?EmitCIL來確保性能；
有?VisualStudio插件支持，實現了代碼高亮、代碼折疊、快速導航的特性；
支持所有主流數據庫，如?MySQL、?SQLServer、?SQLite等（只要?Dapper能支持）；
可以擴展支持非關系型數據庫，如?Neo4j；
單元測試全覆蓋。
語法
如圖：?
該語法有如下特點：
用?namespace關鍵字表達名字空間;
用?sql關鍵字表示模板語句;
用?#號的特殊語法可以進行一些判斷，里面有?isEqual<>、?#isNotEmpty<>等特殊語法;
用?#include<>，可以包含另一個?SQL語句;
語句可以嵌套，?sql{}中可以包含另一個?sql{}。
我們可以對比一下?iBatis/?MyBatis的語法：
<!DOCTYPE mapperPUBLIC "-//mybatis.org//DTD Mapper 3.0//EN""http://mybatis.org/dtd/mybatis-3-mapper.dtd"> <mapper namespace="org.apache.ibatis.submitted.rounding.Mapper"><resultMap type="org.apache.ibatis.submitted.rounding.User" id="usermap"><id column="id" property="id"/><result column="name" property="name"/><result column="funkyNumber" property="funkyNumber"/><result column="roundingMode" property="roundingMode"/></resultMap><select id="getUser" resultMap="usermap">select * from users</select><insert id="insert">insert into users (id, name, funkyNumber, roundingMode) values (#{id}, #{name}, #{funkyNumber}, #{roundingMode})</insert><resultMap type="org.apache.ibatis.submitted.rounding.User" id="usermap2"><id column="id" property="id"/><result column="name" property="name"/><result column="funkyNumber" property="funkyNumber"/><result column="roundingMode" property="roundingMode"typeHandler="org.apache.ibatis.type.EnumTypeHandler"/></resultMap><select id="getUser2" resultMap="usermap2">select * from users2</select><insert id="insert2">insert into users2 (id, name, funkyNumber, roundingMode) values (#{id}, #{name}, #{funkyNumber}, #{roundingMode, typeHandler=org.apache.ibatis.type.EnumTypeHandler})</insert> </mapper>相比之下，由于?XML的存在，?MyBatis的語法有更多噪音。
簡單應用
Hello World
其實和?MyBatis不同，?sdmap設計之初就只考慮好好做一個小巧、精致、快速的模板引擎。因此?sdmap可以不依賴于任何數據庫，只做字符串解析，最簡單的代碼是：
// 安裝NuGet包：sdmap var c = new SdmapCompiler(); c.AddSourceCode("sql v1 {Hello World}"); Console.WriteLine(c.Emit("v1", null)); // Hello World參數傳入
當然有一些前端輸入，這樣就需要第二個參數：
var c = new SdmapCompiler(); c.AddSourceCode("sql v1 {Hello #prop<Name>!}"); Console.WriteLine(c.Emit("v1", new { Name = "Hero"})); // Hello Hero!注意我使用了一個?#prop<>的語法，這是?sdmap中調用指令的語句，表示將?Name屬性按原樣顯示在此處。
參數判斷
有些語句需要根據前端的不同而不同，比如典型的“動態?SQL”問題，如果前端傳了參數，則執行過濾，沒有傳則不過濾，這樣的代碼如下：
var c = new SdmapCompiler(); c.AddSourceCode(@" sql v1 {SELECT * FROM [Customer]WHERE 1=1#isNotEmpty<Location, sql {AND Location = '#prop<Location>'} }"); Console.WriteLine(c.Emit("v1", new { Id = 1, Location = "長沙"})); Console.WriteLine(c.Emit("v1", new { Id = 2, Location = ""}));輸出結果如下：
SELECT * FROM [Customer] WHERE 1=1 AND Location = '長沙'SELECT * FROM [Customer] WHERE 1=1可見，關鍵的那個?isNotEmpty<>控制了?Location判斷的語句。
擴展：sdmap.ext
每次使用時，都需要實例化一個?SdmapCompiler來加載?sdmap語句很麻煩，在項目中，這部分邏輯重用度非常高，因此我寫了一個擴展：?sdmap.ext，定義了?ISdmapEmiter接口，該接口定義如下：
public interface ISdmapEmiter {string Emit(string statementId, object parameters); }相當于最簡單的生成器，然后我寫了幾個內置實現，可以直接從文件系統或者程序集嵌入的資源中讀入這些文件：
public class EmbeddedResourceSqlEmiter : ISdmapEmiter { public static EmbeddedResourceSqlEmiter CreateFrom(Assembly assembly);// ... } public class MultipleAssemblyEmbeddedResourceSqlEmiter : ISdmapEmiter {public static MultipleAssemblyEmbeddedResourceSqlEmiter CreateFrom(params Assembly[] assemblies);// ... } public class FileSystemSqlEmiter : ISdmapEmiter {public static FileSystemSqlEmiter FromSqlDirectory(string sqlDirectory,bool ensureCompiled = false);public static FileSystemSqlEmiter FromSqlDirectoryAndWatch(string sqlDirectory,bool ensureCompiled = false);// ... }那么有人會問，數據庫參數化該如何實現呢？
擴展：sdmap.ext.Dapper
答案是?Dapper，?sdmap訪問數據庫時，依賴?Dapper做參數化。其實很好理解，?sdmap只做數據庫訪問時的?SQL模板引擎前端，?Dapper做后端（當然不一定非要用?Dapper），?sdmap只負責生成?SQL語句。
但隨著大家使用越來越多，我也注意到確實可以寫一些東西，便于大家更好地配合?Dapper一起使用。因此我寫了另外兩個擴展：?sdmap.ext和?sdmap.ext.Dapper。
其中?sdmap.ext仍然和數據庫無關，定義了一些?.sdmap文件的讀取和自動加載邏輯；?sdmap.ext.Dapper依賴于?Dapper，定義了一些便利方法：?
如圖，用過?Dapper的朋友知道，?Dapper為?IDbConnection定義了一套擴展方法，這里我也為?IDbConnection定義了一套一樣的擴展，只要最后加了?ByMap后綴，第二個參數都為?sqlMapName，與其傳入原始的?SQL語句，此處將傳入定義在?.sdmap文件中的配置，如原先使用?Dapper的朋友，代碼可能這樣寫：
換成?sdmap后，代碼應該是這樣寫：
var data = _db.QueryByMap<Customer>("Customers.GetById");然后?sdmap配置如下：
namespace Customers {sql GetById{SELECT * FROM [Customer] WHERE Id = @Id} }注意，?sdmap使用了?Dapper的參數化方式，只需在?SQL中寫?@Id這樣的語句，即可自動實現參數化，得出結果完全一樣，并且?SQL不存在注入問題，代碼中不包含?SQL語句，語句都寫在配置文件中。
數組參數化
由于?Dapper的存在，?sdmap相當于也自動支持了數組的參數化，只要像?Dapper那樣寫?IN即可：
namespace Customer {sql GetByIds{SELECT * FROM [Customer] WHERE Id IN @Ids} }相關鏈接
Github地址
https://github.com/sdcb/sdmap?我的?Github首頁還包含了使用?sdmap.ext.Dapper的一步一步使用教程，可以依照上面的使用。
文檔地址
https://github.com/sdcb/sdmap/wiki
所有指令參考鏈接：
https://github.com/sdcb/sdmap/wiki/Common-macros
NuGet包地址
https://www.nuget.org/packages/sdmap
https://www.nuget.org/packages/sdmap.ext
https://www.nuget.org/packages/sdmap.ext.Dapper
VisualStudio插件地址
https://marketplace.visualstudio.com/items?itemName=sdmapvstool.sdmapvstool
VS插件提供了?.sdmap文件代碼高亮、自動定位、代碼折疊的功能，可以不裝，但不裝就沒這些體驗。
總結
我寫?sdmap最初純粹是因為想挑戰自己，它包含了【編譯器前端——?ANTLR】、【編譯器后端——?CIL】、【?VisualStudio插件如何制作】、單元測試、文檔等主題。
但后來隨著這個項目的發展，越來越多的朋友用了起來。用過的都紛紛提出了自己的想法，然后做了許多潤色，解決了不少局限性，但我從未做過推廣——這是我第一次將這個項目用文字的形式發表出來。希望這個項目能給大家以管理大量?SQL的啟發。
上文中提到了許多有意思的主題，?2020年到了，我有空就會一一介紹這些主題，都非常有意思，最重要的是，其實都很好學????。喜歡的朋友請關注我的微信公眾號：
總結
以上是生活随笔為你收集整理的大量SQL的解决方案——sdmap的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： C#录制视频
- 下一篇： 过去10年技术人员有哪些状态改变？