本地开源解决方案（文生文）：llama/qwen+ollama+docker+open webui/lobe-chat+dify

以下以 mac 环境安装举例（MacBookairM1-8G）

1、安装ollama

1.1. 下载安装

点击去下载 ollama

(如果在 docker 中安装 ollama，则为docker pull ollama/ollama，参见 docker 库)

1.2. 检测是否安装成功：“终端” app 中执行如下命令

ollama -v

显示ollama版本即为安装成功

1.3. 下面命令会默认下载llama3.1 7B 版本模型并运行，其他大模型也是类似

ollama run llama3.1

(如果在 docker 中安装 ollama，则为docker exec -it ollama ollama1 run lama3.1，这里ollama1是容器名，以具体容器命名为准)

更多指令参考github 地址：https://github.com/ollama/ollama?tab=readme-ov-file

已经可以体验本地各个开源大模型了

【API】：同时，ollama 还默认启动了一个 api

启动ollama 后，在mac 的“终端”直接运行下面程序指令，可以获得大模型的回应

curl http://localhost:11434/api/generate -d "{\"model\": \"llama3.1\",\"prompt\": \"你是谁?\",\"stream\":false}"

或

curl http://localhost:11434/api/generate -d "{\"model\": \"qwen2\",\"prompt\": \"你是谁?\",\"stream\":false}"

如何该 ip 绑定，可参考详见：【AI基础】大模型部署工具之ollama的安装部署以及api调用

——————
其他：【AI】在docker中部署ollama体验AI模型

2、安装Docker

为了在浏览器中打开类似 GPT4 的网页浏览体验，需要安装 GUI 界面，在 GUI 页面之前部署 docker 容器。

2.1 安装Docker

点击去下载docker-desktop

2.2 检测是否安装成功：“终端” app 中执行如下命令

docker -v

现实docker版本即为安装成功

2.3 查看ollama运行状态

访问http://127.0.0.1:11434/ 查看ollama的运行状态，显示下图代表运行中，如果不是，执行ollama serve命令。

3、安装GUI：open webui（支持本地 ollama 也支持 api）

3.1. 安装命令

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

可能有网络问题，需要挂梯子

3.2. 打开 docker ，查看open webui的 ports，打开地址http://localhost:3000 ，能正常访问说明成功。
github 地址：https://github.com/open-webui/open-webui

更多参考资料

4、安装GUI：lobe-chat（支持本地 ollama 也支持 api）

4.1. 安装命令

docker pull lobehub/lobe-chat

docker 项目地址

可能有网络问题，需要挂梯子

4.2. 打开 docker ，在 images 中找到lobe-chat，点在action 的三角形启动，注意在Optional settings中展开，将ports设置为3210或者其他，在 containers 里打开地址http://localhost:3210/ ，能正常访问说明成功。

ps：多个并行可能会造成接口冲突配置，排查困难，建议直接在 docker 里新建容器，并配置接口。

5、安装GUI：chatgpt-next-web（仅支持 api）

5.1. 安装命令

docker pull yidadaa/chatgpt-next-web

docker 项目地址

可能有网络问题，需要挂梯子

5.2. 打开 docker ，在 images 中找到chatgpt-next-web，点在action 的三角形启动，注意在Optional settings中展开，将ports设置为4000或者其他，在 containers 里打开地址http://localhost:4000 ，能正常访问说明成功。

ps：多个并行可能会造成接口冲突配置，排查困难，建议直接在 docker 里新建容器，并配置接口。

下文对比了三个AI聊天工具：openWebUI（支持OpenAPI，界面简洁）、chatgpt-next-chat（功能简单但预设面具好）、lobe-chat（支持更多模型，助手质量高）。openWebUI功能全面但缺少助手功能，chatgpt-next-chat和lobe-chat接近，后者助手丰富。引用：https://blog.csdn.net/to_love_/article/details/137119581

6、安装工作流 GUI：dify

当然想要功能全面，那还得dify了，dify定位就是应用，这几个还是chat。
待续

github 地址

https://soulteary.com/2024/07/28/build-llama-3-1-model-service-from-scratch-using-ollama-dify-and-docker.html#ollama-在-dify-中的使用

https://blog.csdn.net/xmllovezl/article/details/141262555

https://www.cpolar.com/blog/how-to-use-docker-to-deploy-and-remotely-access-the-dify-open-source-large-language-model-llm-application

https://www.53ai.com/news/qianyanjishu/2024062197043.html