新知榜官方账号
2023-11-01 16:22:40
FastGPT是一款专为客服问答场景而定制的开箱即用的AI知识库问答系统。该系统具备可视化工作流功能,允许用户灵活地设计复杂的问答流程,几乎能满足各种客服需求。在国内市场环境下,离线部署对于企业客户尤为重要。由于数据安全和隐私保护的考虑,企业通常不愿意将敏感数据上传到线上大型AI模型(如ChatGPT、Claude等)。因此,离线部署成为一个刚需。幸运的是,FastGPT本身是开源的,除了可以使用其在线服务外,也允许用户进行私有化部署。相关的开源项目代码可以在GitHub上找到:https://github.com/labring/fastgpt
正好上周ChatGLM系列推出了其最新一代的开源模型——ChatGLM3-6B。该模型在保留前两代模型流畅对话和低部署门槛的优点基础上,带来了以下新特性:
本文接下来将详细介绍如何私有化部署ChatGLM3-6B,并与FastGPT结合,构建一个完完全全私有化的AI知识库问答系统。通过这样的整合,企业不仅可以保证数据安全,还能利用最新、最强大的AI技术来提升客服效率和用户体验。
可以通过接入OneAPI来实现对各种大模型的支持,你可以参考FastGPT的文档来部署OneAPI:https://doc.fastgpt.in/docs/installation/one-api/
如果你不嫌麻烦,可以选择在本地使用DockerCompose来部署FastGPT。我推荐直接使用Sealos应用模板来一键部署,Sealos无需服务器、无需域名,支持高并发&动态伸缩。打开以下链接即可一键部署:https://cloud.sealos.top/?openapp=system-fastdeploy%3FtemplateName%3Dfastgpt
rootpassword是默认的密码,默认用户名是root。baseurl填入OneAPI提供的API接口。假设OneAPI地址是https://xxx.cloud.sealos.top,那么baseurl就是https://xxx.cloud.sealos.top/v1。如果你的OneAPI和FastGPT都部署在Sealos中,这里的baseurl可以填入OneAPI的内网地址,例如我的内网地址是:http://one-api-wkskpejy.ns-sbjre322.svc.cluster.local:3000/v1
最后我们来修改FastGPT的配置,将ChatGLM3-6B接入FastGPT。首先在FastGPT的应用详情中点击【变更】,然后点击配置文件中的/app/data/config.json:将文件值修改为如下的值:
{ "SystemParams": { "pluginBaseUrl": "", "openapiPrefix": "openapi", "vectorMaxProcess": 15, "qaMaxProcess": 15, "pgIvfflatProbe": 10 }, "ChatModels": [ { "model": "ChatGLM3", "name": "ChatGLM3", "price": 0, "maxToken": 4000, "quoteMaxToken": 2000, "maxTemperature": 1.2, "censor": false, "defaultSystemChatPrompt": "" } ], "QAModels": [ { "model": "ChatGLM3", "name": "ChatGLM3", "maxToken": 8000, "price": 0 } ], "CQModels": [ { "model": "ChatGLM3", "name": "ChatGLM3", "maxToken": 8000, "price": 0, "functionCall": true, "functionPrompt": "" } ], "ExtractModels": [ { "model": "ChatGLM3", "name": "ChatGLM3", "maxToken": 8000, "price": 0, "functionCall": true, "functionPrompt": "" } ], "QGModels": [ { "model": "ChatGLM3", "name": "ChatGLM3", "maxToken": 4000, "price": 0 } ], "VectorModels": [ { "model": "text-embedding-ada-002", "name": "Embedding-2", "price": 0.2, "defaultToken": 700, "maxToken": 3000 }, { "model": "m3e", "name": "M3E(测试使用)", "price": 0.1, "defaultToken": 500, "maxToken": 1800 } ]}
修改完成后,点击【确认】,然后点击右上角的【变更】,等待FastGPT重启完成后,再次访问FastGPT,点击【立即开始】进入登录界面,输入默认账号密码后进入FastGPT控制台。
新建一个应用,模板选择【简单的对话】,点击【确认创建】。AI模型选择ChatGLM3,然后点击【保存并预览】。点击左上角【对话】打开一个聊天会话窗口:
按国际惯例先来测试一下它的自我认知:
再来检测一下数学能力:
逻辑推理能力:
接入M3E向量模型
刚刚我们只是测试了模型的对话能力,如果我们想使用FastGPT来训练知识库,还需要一个向量模型。FastGPT线上服务默认使用了OpenAI的embedding模型,如果你想私有部署的话,可以使用M3E向量模型进行替换。M3E的部署方式可以参考文档:https://doc.fastgpt.in/docs/custom-models/m3e/
Sealos社区长期征稿,欢迎Sealos终端用户与开发者前来投稿,奖金丰厚!详情可查看文章爱Sealos?来投稿!有奖金,还没有截止日期...
加入Sealos开源社区体验像个人电脑一样简单的云操作系统
相关工具
相关文章
推荐
Flux爆火,全网最全面最详细的Flux使用教程!
2025-02-18 14:19
用AI如何创作音乐,实战教学来啦!
2025-02-17 17:23
MidJourney让你秒变绘画大神,从零开始画哪吒!
2025-02-17 14:56
AI应用新境界:让人工智能成为你的得力助手
2025-02-14 15:45
AI短片革命:当创作遇上智能,人人都能成为导演
2025-02-14 14:53
AI狂潮下的人类职场:是失业危机还是进化契机?
2025-02-13 16:53
开启影视创作新纪元,效率提升 10 倍的神器来了!
2025-02-13 15:11
深度解析DeepSeek:当AI技术照进创作产业的未来
2025-02-12 17:16
AI绘画是否等于抄袭?AI学画画≠复制粘贴!
2025-02-12 17:02
AI视频爆发年:未解难题与国产AI工具的全链路破局之道
2025-02-12 15:52