Kernel Memory 入門系列：Kernel Memory Service

在 Kernel Memory 的 GitHub 倉庫中有一個單獨(dú)的項(xiàng)目 Service , 用于提供獨(dú)立的Kernel Memory OpenAPI 服務(wù)。可以用于獨(dú)立的部署后臺，也可以為其他語言提供接口調(diào)用服務(wù)。

1. 初始化

使用 Kernel Memory Service 需要先下載該項(xiàng)目的源碼。使用Git Clone 命令下載源碼到本地即可。

git clone https://github.com/microsoft/kernel-memory.git

然后打開/service/Service目錄，根據(jù)操作系統(tǒng)選擇執(zhí)行使用setup.sh或者setup.cmd，就可以進(jìn)行快速的初始化了。
也可以直接執(zhí)行dotnet run setup命令進(jìn)行初始化。

這個過程會調(diào)用初始化服務(wù)，將所有選擇的配置項(xiàng)都存儲到appsettings.Development.json文件中。

當(dāng)然也可以直接通過修改appsettings.json文件，來修改配置項(xiàng)。該文件中包含詳細(xì)的配置說明。

這其中的大部分的配置項(xiàng)都和Kernel Memory的組件有關(guān)，例如ContentStorageType、TextGeneratorType、
MemoryDbTypes等等。大部分的組件將會在后續(xù)的文章中進(jìn)行介紹。如果測試的話，可以選擇Simple開頭的選項(xiàng)，基本都是使用本地文件作為存儲。

這其中需要注意的 TextGeneratorType 和 EmbeddingGeneratorType 及其相關(guān)配置是必須的，因?yàn)檫@部分是調(diào)用大語言模型的需要的配置。

2. 啟動服務(wù)

完成配置之后，就可以啟動服務(wù)了。運(yùn)行項(xiàng)目下的run.cmd或者run.sh即可啟動服務(wù)。

這里為了演示方便，啟用了Swagger和同步處理，使用了本地的文件存儲和向量存儲。

3. 使用服務(wù)

服務(wù)其中后，如果是在本地運(yùn)行，可以通過http://localhost:9001/swagger/index.html訪問服務(wù)的Swagger頁面。

其他語言可以使用Swagger.json 生成OpenAPI的客戶端代碼，也可以直接使用HTTP請求調(diào)用接口。

C# 可以使用 Microsoft.KernelMemory.WebClient 包來調(diào)用接口。

var memory = new MemoryWebClient("http://127.0.0.1:9001"); 

這里的memory 的使用和 ServerlessMemory 一樣。

4. 一些其他的工具腳本

在該項(xiàng)目的另外一個目錄下提供了一些工具腳本,可以更加方便的使用 Kernel Memory Service。

• run-qdrant.sh 用于啟動 Qdrant 服務(wù)，該服務(wù)是用于提供向量數(shù)據(jù)庫，用于存儲生成的向量。使用Docker 運(yùn)行，因此需要提前安裝好Docker。

• run-rabbitmq.sh 用于啟動 RabbitMQ 服務(wù)，該服務(wù)是用于提供消息隊(duì)列服務(wù)，用于異步管理文件上傳和處理進(jìn)度。也是使用Docker 運(yùn)行。

• setup-service.sh 用于初始化 Kernel Memory Service，和上面的setup.sh是一樣的。

• run-service.sh 用于啟動 Kernel Memory Service，和上面的run.sh是一樣的。

• upload-file.sh 用于上傳文件到 Kernel Memory Service，需要提供服務(wù)地址（默認(rèn)是http://localhost:9001）和文件路徑。

• ask.sh 用于向 Kernel Memory Service 提問，需要提供服務(wù)地址和問題文本。

• search.sh 用于向 Kernel Memory Service 搜索，需要提供服務(wù)地址和問題文本。

參考

• Kernel Memory Service
• Kernel Memory Tools

總結(jié)

以上是生活随笔為你收集整理的Kernel Memory 入门系列：Kernel Memory Service的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。