如何在思源笔记中使用本地部署的 lmstudio 提供的 api。

书接上文

【AI】如何安装 LM Studio 并配置 qwen2.5 本地 ai 一文中,介绍了如何安装 LM Studio 软件并使用通义千问本地 AI 大模型。

LM Studio 软件可以基于本地大模型提供一个和 openai api 兼容的本地 AI 服务器,基于此,我们可以使用思源笔记自带的 AI 模块,利用本地的 LM Studio 来在思源笔记中使用本地部署的 AI。

思源笔记中 AI 模块有两种用法,一种是选择内容后,让 AI 帮忙写总结、续写、格式优化等(AI 输出的内容会插入到选中内容之后),另外一种就是直接问 AI,AI 的回答会直接插入到我们的问题之后。

如何操作

启动 LM Studio 本地服务器 Server

首先需要配置好并打开 LM Studio(教程博客上文已给出),点击 developer 开发者页面,在这里可以选中一个你想使用的模型,然后点击左上角的 start server 启动本地服务器。

image.png

成功启动,可以在下方的终端中看到如下内容

image.png

思源笔记中配置 LM Studio 的 API

来到思源笔记的设置中,需要填写如下内容,参考官方文档 lm-studio.cn/docs/api/openai-api

参数
urlhttp://127.0.0.1:1234/v1
api keylm-stdio
模型查看 lmstdio 本地服务器页面显示的模型名字

其中模型的名称可以在 LM Studio 开发者页面右侧的 API Usage 中看到,复制此处的模型名称即可 (“This model’s API identifier” 下方的模型名称)

image.png

最终思源笔记 AI 配置好的结果如下,注意要选择 AI 提供商为 openai,其他设置无需修改。

image.png

搞定!

接下来就可以在思源笔记中使用 AI 了,斜杠菜单里面能呼出 ai 编写模块。

image.png

ai 的回答会直接插入到我们输入的问题后方。不过很明显这里通义千问是在瞎说了,思源笔记不是一个便签类应用,也不是阿里云开发的…… 哈哈哈哈

image.png