本地开源解决方案（文生文）：llama/qwen+ollama+docker+open webui/lobe-chat/chatgpt-next-web+dify

以下以 mac 环境安装举例（MacBookairM1-8G）

安装ollama

1. 下载安装
   点击去下载 ollama
   (如果在 docker 中安装 ollama，则为docker pull ollama/ollama，参见 docker 库)

2. 检测是否安装成功：“终端” app 中执行如下命令

   ollama -v

   显示ollama版本即为安装成功

3. 下面命令会默认下载llama3.1 7B 版本模型并运行，其他大模型也是类似

   ollama run llama3.1

   (如果在 docker 中安装 ollama，则为docker exec -it ollama ollama1 run lama3.1，这里ollama1是容器名，以具体容器命名为准)

更多指令参考github 地址：https://github.com/ollama/ollama?tab=readme-ov-file

已经可以体验本地各个开源大模型了

【API】：同时，ollama 还默认启动了一个 api

启动ollama 后，在mac 的“终端”直接运行下面程序指令，可以获得大模型的回应

curl http://localhost:11434/api/generate -d "{\"model\": \"llama3.1\",\"prompt\": \"你是谁?\",\"stream\":false}"

或

curl http://localhost:11434/api/generate -d "{\"model\": \"qwen2\",\"prompt\": \"你是谁?\",\"stream\":false}"

如何该 ip 绑定，可参考详见：【AI基础】大模型部署工具之ollama的安装部署以及api调用

——————
其他：【AI】在docker中部署ollama体验AI模型

安装Docker

为了在浏览器中打开类似 GPT4 的网页浏览体验，需要安装 GUI 界面，在 GUI 页面之前部署 docker 容器。

1. 安装Docker
   点击去下载docker-desktop

2. 检测是否安装成功：“终端” app 中执行如下命令

   docker -v

   现实docker版本即为安装成功

3. 查看ollama运行状态
   访问http://127.0.0.1:11434/ 查看ollama的运行状态，显示下图代表运行中，如果不是，执行ollama serve命令。

chat GUI

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 界面，设计用于完全离线运行。 它支持多种大型语言模型（LLM）运行器，包括 Ollama 和兼容 OpenAI 的 API。 主要功能包括简易安装、多模型支持、细粒度权限管理和响应式设计。 适用于需要在本地或服务器上部署功能丰富、可定制的 AI 聊天应用的用户。

Lobe Chat 是一个现代化的开源 AI 聊天框架，支持多种 AI 提供商（如 OpenAI、Claude 3、Gemini 等），并具备知识库管理、多模态支持（如视觉、语音合成）以及插件系统。 它允许用户一键免费部署私人 ChatGPT/Claude 应用。 适用于希望快速部署私人 AI 聊天应用，并需要知识库管理和多模态交互功能的用户。

ChatGPT-Next-Web 是一个跨平台的 ChatGPT/Gemini 用户界面，支持 Web、PWA、Linux、Windows 和 MacOS。 用户可以通过它一键拥有自己的跨平台 ChatGPT/Gemini/Claude LLM 应用。 适用于需要跨平台支持，并希望快速部署自己的 ChatGPT/Gemini 应用的用户。

安装GUI：open webui（LLM支持本地 ollama 也支持 api）

1. 安装命令

   docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

   可能有网络问题，需要挂梯子

2. 打开 docker ，查看open webui的 ports，打开地址http://localhost:3000 ，能正常访问说明成功。
   github 地址：https://github.com/open-webui/open-webui
   更多参考资料

安装GUI：lobe-chat（LLM支持本地 ollama 也支持 api）

1. 安装命令

   docker pull lobehub/lobe-chat

   docker 项目地址
   可能有网络问题，需要挂梯子

2. 打开 docker ，在 images 中找到lobe-chat，点在action 的三角形启动，注意在Optional settings中展开，将ports设置为3210或者其他，在 containers 里打开地址http://localhost:3210/ ，能正常访问说明成功。
   ps：多个并行可能会造成接口冲突配置，排查困难，建议直接在 docker 里新建容器，并配置接口。

安装GUI：chatgpt-next-web（LLM仅支持 api）

1. 安装命令

   docker pull yidadaa/chatgpt-next-web

   docker 项目地址
   可能有网络问题，需要挂梯子

2. 打开 docker ，在 images 中找到chatgpt-next-web，点在action 的三角形启动，注意在Optional settings中展开，将ports设置为4000或者其他，在 containers 里打开地址http://localhost:4000 ，能正常访问说明成功。

ps：多个并行可能会造成接口冲突配置，排查困难，建议直接在 docker 里新建容器，并配置接口。

下文对比了三个AI聊天工具：openWebUI（支持OpenAPI，界面简洁）、chatgpt-next-chat（功能简单但预设面具好）、lobe-chat（支持更多模型，助手质量高）。openWebUI功能全面但缺少助手功能，chatgpt-next-chat和lobe-chat接近，后者助手丰富。引用：https://blog.csdn.net/to_love_/article/details/137119581

工作流 GUI：dify

当然想要功能全面，那还得dify了，dify定位就是应用，这几个还是chat。

docker 安装部署文档，很详细，照着来就 OK
https://docs.dify.ai/zh-hans/getting-started/install-self-hosted/docker-compose

注意，建议SHH 方式拉取 git，tcp 巨慢
git clone git@github.com:langgenius/dify.git

打开 http://localhost/install 随便输入一个账号登录，会跳转到管理员设置页面。完成管理账户密码设置。然后登录即可

github 地址

参考资料：
https://soulteary.com/2024/07/28/build-llama-3-1-model-service-from-scratch-using-ollama-dify-and-docker.html#ollama-在-dify-中的使用

https://blog.csdn.net/xmllovezl/article/details/141262555

https://www.cpolar.com/blog/how-to-use-docker-to-deploy-and-remotely-access-the-dify-open-source-large-language-model-llm-application

https://www.53ai.com/news/qianyanjishu/2024062197043.html