15分钟搭建私有ChatGPT - Windows篇 - Wz’s博客 - Etaishun.com
侧边栏壁纸
博主头像
落日余晖

有时候,你对人生所有的规划,抵不过命运一次 不怀好意的安排!

  • 累计撰写 258 篇文章
  • 累计收到 114 条评论

15分钟搭建私有ChatGPT - Windows篇

落日余晖 情圣 Lv.100
2024-10-20 / 0 评论 / 131 阅读

本教程用到的知识点:

  1. Docker
  2. Ollama
  3. MaxKB

1. 安装运行环境

hub.docker.com/下载并安装

image.png

image.png

image.png

2. 安装Ollama

点Windows的【开始】,搜索框输入cmd,弹出黑色dos窗口,输入一下命令:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

 

image.png

查看当前电脑IP

在dos窗口输入 ipconfig,找到当前IP地址

image.png

打开浏览器,输入刚查到的IP地址:11434,如: http://192.168.71.192:11434/

如出现“Ollama is running”,说明安装成功

image.png

3. 安装大语言模型

我们以阿里的【通义千问】作为大语言模型进行安装,也可以用同样的方法安装Meta的【llama3】,微软的p【hi3】,google的【gemma】等等

打开Docker,进入ollama,点【Exec】,输入以下命令

ollama run qwen

image.png

可以开始使用本地千问了,问他几个问题,看看他的智商如何

输入/bye 退出

也可以安装其它大语言模型,比方说meta的llama3,微软的phi3,谷歌的gemma
同样的命令

ollama run llama3
ollama run phi3
ollama run gemma

4. 安装对话界面MaxKB

在Windows的dos窗口,输入以下命令

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb

打开Docker,看到maxkb已经安装完成,点三角号运行

在浏览器输入 http://localhost:8080/ui/application

输入账密

# 用户名: admin
# 密码: MaxKB@123..

 

进入系统设置 -> 模型设置 -> 添加模型,选择Ollama

API Key:随便填写,如123

点【应用】,【创建应用】

修改信息,并设置参数

5. 愉快的使用自己的ChatGPT

也可以用openweb ui做前端对话框,有兴趣的同学自己试试吧

6. 关联私有知识库,让ChatGPT更专业

再问它包装结构设计方面的知识,貌似并没有聪明太多,哈哈哈哈

任何问题,欢迎联系Tony老师,原创不易,欢迎点赞关注!

编辑于 2024-07-15 13:12・IP 属地上海 https://zhuanlan.zhihu.com/p/704914751

扫描二维码,在手机上阅读
收藏

评论一下?

OωO
取消