本地开源解决方案(文生文):llama/qwen+ollama+docker+open webui/lobe-chat+dify

以下以 mac 环境安装举例(MacBookairM1-8G)

1、安装ollama

1.1. 下载安装

点击去下载 ollama

(如果在 docker 中安装 ollama,则为docker pull ollama/ollama,参见 docker 库)

1.2. 检测是否安装成功:“终端” app 中执行如下命令

ollama -v

显示ollama版本即为安装成功

1.3. 下面命令会默认下载llama3.1 7B 版本模型并运行,其他大模型也是类似

ollama run llama3.1

(如果在 docker 中安装 ollama,则为docker exec -it ollama ollama1 run lama3.1,这里ollama1是容器名,以具体容器命名为准)

更多指令参考github 地址:https://github.com/ollama/ollama?tab=readme-ov-file

已经可以体验本地各个开源大模型了

【API】:同时,ollama 还默认启动了一个 api

启动ollama 后,在mac 的“终端”直接运行下面程序指令,可以获得大模型的回应

curl http://localhost:11434/api/generate -d "{\"model\": \"llama3.1\",\"prompt\": \"你是谁?\",\"stream\":false}"

curl http://localhost:11434/api/generate -d "{\"model\": \"qwen2\",\"prompt\": \"你是谁?\",\"stream\":false}"

如何该 ip 绑定,可参考详见:【AI基础】大模型部署工具之ollama的安装部署以及api调用

——————
其他:【AI】在docker中部署ollama体验AI模型

2、安装Docker

为了在浏览器中打开类似 GPT4 的网页浏览体验,需要安装 GUI 界面,在 GUI 页面之前部署 docker 容器。

2.1 安装Docker

点击去下载docker-desktop

2.2 检测是否安装成功:“终端” app 中执行如下命令

docker -v

现实docker版本即为安装成功

2.3 查看ollama运行状态

访问http://127.0.0.1:11434/ 查看ollama的运行状态,显示下图代表运行中,如果不是,执行ollama serve命令。

3、安装GUI:open webui(支持本地 ollama 也支持 api)

3.1. 安装命令

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

可能有网络问题,需要挂梯子

3.2. 打开 docker ,查看open webui的 ports,打开地址http://localhost:3000 ,能正常访问说明成功。
github 地址:https://github.com/open-webui/open-webui

更多参考资料

4、安装GUI:lobe-chat(支持本地 ollama 也支持 api)

4.1. 安装命令

docker pull lobehub/lobe-chat

docker 项目地址

可能有网络问题,需要挂梯子

4.2. 打开 docker ,在 images 中找到lobe-chat,点在action 的三角形启动,注意在Optional settings中展开,将ports设置为3210或者其他,在 containers 里打开地址http://localhost:3210/ ,能正常访问说明成功。

ps:多个并行可能会造成接口冲突配置,排查困难,建议直接在 docker 里新建容器,并配置接口。

5、安装GUI:chatgpt-next-web(仅支持 api)

5.1. 安装命令

docker pull yidadaa/chatgpt-next-web

docker 项目地址

可能有网络问题,需要挂梯子

5.2. 打开 docker ,在 images 中找到chatgpt-next-web,点在action 的三角形启动,注意在Optional settings中展开,将ports设置为4000或者其他,在 containers 里打开地址http://localhost:4000 ,能正常访问说明成功。

ps:多个并行可能会造成接口冲突配置,排查困难,建议直接在 docker 里新建容器,并配置接口。

下文对比了三个AI聊天工具:openWebUI(支持OpenAPI,界面简洁)、chatgpt-next-chat(功能简单但预设面具好)、lobe-chat(支持更多模型,助手质量高)。openWebUI功能全面但缺少助手功能,chatgpt-next-chat和lobe-chat接近,后者助手丰富。引用:https://blog.csdn.net/to_love_/article/details/137119581

6、安装工作流 GUI:dify

当然想要功能全面,那还得dify了,dify定位就是应用,这几个还是chat。
待续

github 地址

https://soulteary.com/2024/07/28/build-llama-3-1-model-service-from-scratch-using-ollama-dify-and-docker.html#ollama-在-dify-中的使用

https://blog.csdn.net/xmllovezl/article/details/141262555

https://www.cpolar.com/blog/how-to-use-docker-to-deploy-and-remotely-access-the-dify-open-source-large-language-model-llm-application

https://www.53ai.com/news/qianyanjishu/2024062197043.html

浏览量(45) | 此条目发表在未分类分类目录。将固定链接加入收藏夹。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据