使用 Docker 部署 Ollama 与 Open WebUI 完整指南 基于 DeepSeek-R1 模型的本地化部署方案前言本文详细介绍如何通过 Docker 快速搭建支持 GPU 加速的 Ollama 服务，并集成 Open WebUI 实现可视化交互界面。方案完整支持：✅ 多 GPU 并行计算✅ 模型持久化存储✅ 企业级权限管理✅ 中英文双语支持前置准备硬件要求NVIDIA 显卡（显存 ≥8GB，推荐 RTX 3060 以上）内存 ≥16GB磁盘空间 ≥50GB软件依赖# 安装 Docker 和 NVIDIA 容器工具包 sudo apt-get update sudo apt-get install -y docker.io nvidia-container-toolkit sudo systemctl restart docker # 验证 GPU 支持 docker run --rm --gpus all nvidia/cuda:11.8.0-base-ubuntu22.04 nvidia-smi如果报错：sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit Hit:1 http://hk.archive.ubuntu.com/ubuntu jammy InRelease Hit:2 http://hk.archive.ubuntu.com/ubuntu jammy-updates InRelease Hit:3 http://hk.archive.ubuntu.com/ubuntu jammy-backports InRelease Hit:4 http://hk.archive.ubuntu.com/ubuntu jammy-security InRelease Reading package lists... Done Reading package lists... Done Building dependency tree... Done Reading state information... Done E: Unable to locate package nvidia-container-toolkit你的系统中可能未正确添加 NVIDIA Container Toolkit 的软件源。请按以下步骤操作：解决方案如下：添加 NVIDIA 官方源和密钥# 安装依赖 sudo apt-get install -y curl # 添加 GPG 密钥 curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - # 添加仓库（注意系统代号匹配） distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-container-runtime/$distribution/nvidia-container-runtime.list | sudo tee /etc/apt/sources.list.d/nvidia-container-runtime.list更新并安装sudo apt-get update sudo apt-get install -y nvidia-container-toolkit验证安装nvidia-ctk --version常见问题排查：如果系统代号不匹配（如 Ubuntu 22.04 应为 ubuntu22.04），可手动替换上述命令中的 $distribution若仍报错，尝试清理缓存：sudo rm -rf /var/lib/apt/lists/* sudo apt-get update替代方案（若网络受限）：# 通过 NVIDIA Docker 仓库安装 sudo apt-get install -y nvidia-docker2 sudo systemctl restart docker部署流程1. 部署 Ollama 服务# 创建持久化存储目录 mkdir -p ~/ollama_storage # 启动 Ollama 容器 docker run -d --name=ollama \ --gpus=all \ --restart unless-stopped \ -p 30037:11434 \ -v /home/$USER/dockerfile/ollama/data:/root/.ollama \ ollama/ollama # 下载 DeepSeek-R1 模型 docker exec -it ollama ollama run deepseek-r1:7b如果运行容器报错：xdboy@xdserver:~$ docker run -d --name=ollama \ --gpus=all \ --restart unless-stopped \ -p 30037:11434 \ -v /home/$USER/dockerfile/ollama/data:/root/.ollama \ ollama/ollama Unable to find image 'ollama/ollama:latest' locally latest: Pulling from ollama/ollama d9802f032d67: Pull complete 161508c220d5: Pull complete 6b78c8d09c74: Pull complete e0c387d586cc: Pull complete Digest: sha256:82956f40bb1f307c77f7a8c3ed91c7a37e072ed757ff143e34210a7b991b9480 Status: Downloaded newer image for ollama/ollama:latest 78a836df1c7ce1436b41b2d08e9d74764ae732fb06257308430ac9488ad8102d docker: Error response from daemon: failed to create task for container: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: error running hook #0: error running hook: exit status 1, stdout: , stderr: Auto-detected mode as 'legacy' nvidia-container-cli: initialization error: load library failed: libnvidia-ml.so.1: cannot open shared object file: no such file or directory: unknown.你遇到的错误 libnvidia-ml.so.1: cannot open shared object file 表明 NVIDIA 容器运行时未能正确加载 GPU 驱动。以下是完整解决方案：问题原因NVIDIA 驱动未安装 Docker 容器需要宿主机已安装 NVIDIA 驱动并通过 nvidia-container-toolkit 暴露给容器。nvidia-container-toolkit 配置未生效 即使安装了工具包，Docker 可能未正确绑定 NVIDIA 驱动库。分步解决方案1. 确认 NVIDIA 驱动已安装运行以下命令检查驱动状态：nvidia-smi # 应有 GPU 信息输出若无输出，需先安装 NVIDIA 驱动：sudo ubuntu-drivers autoinstall # 自动安装推荐驱动 sudo reboot2. 修复 nvidia-container-toolkit 配置重新配置 NVIDIA 容器运行时并重启 Docker：# 确认工具包已安装 sudo apt-get install -y nvidia-container-toolkit # 重新生成配置 sudo nvidia-ctk runtime configure --runtime=docker # 重启 Docker 服务 sudo systemctl restart docker3. 验证容器 GPU 访问运行测试容器检查 GPU 是否可见：docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi若成功输出 GPU 信息，则配置已修复。4. 重新运行你的 Ollama 容器docker run -d --name=ollama \ --gpus=all \ --restart unless-stopped \ -p 30037:11434 \ -v /home/$USER/dockerfile/ollama/data:/root/.ollama \ ollama/ollama常见问题补充如果仍报错 libnvidia-ml.so.1强制绑定 NVIDIA 库（显式指定驱动路径）：docker run -d --name=ollama \ --gpus=all \ -v /usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1:/usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1 \ ollama/ollama若系统为 WSL2需在 Windows 宿主机安装 NVIDIA 驱动，并在 WSL2 中启用 GPU 支持：# 在 WSL2 中安装驱动兼容层 sudo apt-get install -y nvidia-cuda-toolkit关键日志检查若问题持续，检查 Docker 和 NVIDIA 容器日志：# Docker 日志 journalctl -u docker.service --since "5 minutes ago" # NVIDIA 容器日志 nvidia-container-cli -k -d /dev/tty info2. 部署 Open WebUIdocker run -d \ --name=open-webui \ -p 3000:8080 \ -e OLLAMA_API_BASE_URL=http://host.docker.internal:11434 \ --add-host=host.docker.internal:host-gateway \ --restart unless-stopped \ ghcr.io/open-webui/open-webui:main配置说明关键参数解析参数作用示例值--gpus=all启用全部 GPU必填-v ~/ollama_storage模型存储路径可自定义目录OLLAMA_API_BASE_URLOllama 服务地址保持默认网络架构示意图[用户浏览器] <-> [Open WebUI:3000] <-> [Ollama API:11434] ↑ | └── 模型数据持久化存储 ───┘验证部署1. 检查服务状态docker ps -a | grep -E "ollama|open-webui"2. 测试 API 接口curl http://localhost:11434/api/tags # 应返回包含 deepseek-r1 的模型列表3. 访问 Web 界面浏览器打开 http://[服务器IP]:3000，完成注册后：点击左下角模型选择器选择 deepseek-r1:7b开始对话测试高级配置多 GPU 分配docker update ollama --gpus '"device=0,1"' # 指定使用前两块 GPU中文支持优化登录 Open WebUI进入 Settings → Global Settings设置 Default Language 为 Chinese (Simplified)常见问题解决Q1: 容器启动报错 GPU not found# 重新配置 NVIDIA 容器 sudo nvidia-ctk runtime configure --runtime=docker sudo systemctl restart dockerQ2: 模型下载速度慢# 在 Ollama 容器内配置镜像加速 docker exec -it ollama bash echo 'OLLAMA_MIRROR="https://mirror.example.com"' >> /etc/ollama.envQ3: 对话历史丢失# 检查 Open WebUI 数据卷 docker inspect open-webui | grep "Mounts"应用场景示例智能客服集成import requests def ask_ai(question): response = requests.post( "http://localhost:11434/api/generate", json={ "model": "deepseek-r1:7b", "prompt": f"作为客服助手回答：{question}", "stream": False } ) return response.json()["response"]自动生成 SQL 查询性能优化建议量化部署：使用 GGUF 格式量化模型docker exec -it ollama ollama run deepseek-r1:7b-q4缓存优化：调整 Ollama 的 OLLAMA_NUM_PARALLEL 环境变量负载均衡：部署多个 Ollama 实例并使用 Nginx 分流总结本文方案相比传统部署方式具备三大优势：快速部署：一行命令完成环境搭建资源隔离：Docker 容器保证服务稳定性弹性扩展：轻松实现多模型并行服务建议企业用户在此基础上进一步：配置 HTTPS 安全访问集成 LDAP 身份验证设置自动化备份策略立即按照本指南部署您的 AI 助手吧！如有问题欢迎在评论区留言讨论。

【openwrt】通过zerotier网络连接路由器时，如何配置使用TYDD终端工具 一、创建新的接口命名为ZEROTIER，接口的协议选择DHCP客户端，接口选择已经连接的ZEROTIER适配器。修改刚刚创建的接口配置，防火墙设置，新建ZEROTIER防火墙，保存并应用二、配置防护墙端口转发配置7681端口转发，并选择ZEROTIER网络三、自定义规则iptables -I FORWARD -i ztyfejv2us -j ACCEPT iptables -I FORWARD -o ztyfejv2us -j ACCEPT iptables -t nat -I POSTROUTING -o ztyfejv2us -j MASQUERADE

Git 操作指南：分支、标签和归档 在版本控制系统 Git 中，管理和维护代码的不同版本是一项常见任务。本文将详细介绍如何在 Git 中创建、切换、推送、删除分支、标签以及归档版本。目录创建分支切换分支推送分支删除分支创建和管理标签归档版本一、创建分支1. 创建本地分支要创建一个新的本地分支，可以使用 git checkout 或 git switch 命令：使用 git checkout 命令：git checkout -b <branch-name>使用 git switch 命令：git switch -b <branch-name>例如，创建一个名为 feature-branch 的分支：git checkout -b feature-branch # 或者 git switch -b feature-branch2. 推送分支到远程仓库创建本地分支后，可以将其推送到远程仓库：使用 git push 命令：git push origin <branch-name>例如，将 feature-branch 推送到远程仓库：git push origin feature-branch二、切换分支1. 切换到本地分支要切换到已有的本地分支，可以使用 git checkout 或 git switch 命令：使用 git checkout 命令：git checkout <branch-name>使用 git switch 命令：git switch <branch-name>例如，切换到 main 分支：git checkout main # 或者 git switch main三、推送分支1. 推送本地分支到远程仓库要将本地分支推送到远程仓库，可以使用 git push 命令：使用 git push 命令：git push origin <branch-name>例如，将 feature-branch 推送到远程仓库：git push origin feature-branch四、删除分支1. 删除本地分支要删除本地分支，可以使用 git branch 命令：使用 git branch -d 命令：git branch -d <branch-name>如果分支未合并，可以使用 -D 选项强制删除：git branch -D <branch-name>例如，删除本地分支 feature-branch：git branch -d feature-branch # 或者 git branch -D feature-branch2. 删除远程分支要删除远程分支，可以使用 git push 命令：使用 git push --delete 命令：git push origin --delete <branch-name>例如，删除远程分支 feature-branch：git push origin --delete feature-branch五、创建和管理标签1. 创建标签要创建一个标签，可以使用 git tag 命令：使用 git tag 命令：git tag <tag-name>例如，创建一个名为 v1.0 的标签：git tag v1.02. 推送标签到远程仓库创建标签后，可以将其推送到远程仓库：使用 git push 命令：git push origin <tag-name>例如，将 v1.0 标签推送到远程仓库：git push origin v1.03. 删除标签（1）删除本地标签要删除本地标签，可以使用 git tag 命令：使用 git tag -d 命令：git tag -d <tag-name>例如，删除本地标签 v1.0：git tag -d v1.0（2）删除远程标签要删除远程标签，可以使用 git push 命令：使用 git push --delete 命令：git push origin --delete <tag-name>例如，删除远程标签 v1.0：git push origin --delete v1.0六、归档版本1. 创建归档文件要创建一个归档文件，可以使用 git archive 命令：使用 git archive 命令：git archive --format=tar.gz -o <archive-file> <commit-ish>例如，创建一个包含版本 v1.0 的归档文件 v1.0.tar.gz：git archive --format=tar.gz -o v1.0.tar.gz v1.02. 解压归档文件要解压归档文件，可以使用相应的解压命令：使用 tar 命令：tar -xzvf <archive-file>例如，解压 v1.0.tar.gz 文件：tar -xzvf v1.0.tar.gz其他命令# 1. 还原当前分支代码为远程 main 分支的状态 git fetch origin git reset --hard origin/main # 2. 将 v2.0 分支的更改合并到当前分支（覆盖） git merge --strategy=ours v2.0 # 3. 强制推送到远程 main 分支 git push -f origin main总结本文详细介绍了在 Git 中创建、切换、推送、删除分支、标签以及归档版本的操作。希望这些信息能帮助你更好地管理和维护代码版本。

使用 Docker 搭建 Poste.io 邮件服务器 Poste.io 是一款开源邮件服务软件，它提供了一套简单而强大的邮件服务器环境，非常适合个人用户、小型企业或组织使用。通过使用 Docker，我们可以更加轻松地部署和管理邮件服务器，并且提供了高度灵活的配置和扩展能力。下面我们将详细介绍如何利用 Docker 搭建 Poste.io 邮件服务器，并且会包括一些额外的配置选项。准备工作在开始之前，请确保你已经在你的机器上安装了 Docker。如果还没有安装 Docker，请访问 Docker 的官方网站下载适合你操作系统的版本并安装。创建 Docker 容器我们可以通过 docker run 命令来创建并运行一个 Poste.io 的 Docker 容器。下面是一个示例命令，用于启动一个 Poste.io 的邮件服务器容器：docker run -d --name posteio \ --restart always \ -e DISABLE_RSPAMD=TRUE \ -e DISABLE_CLAMAV=TRUE \ -e DISABLE_ROUNDCUBE=TRUE \ -e HTTPS=OFF \ -e TZ=Europe/Prague \ -e HTTP_PORT=80 \ -e HTTPS_PORT=443 \ -h "mail.example.com" \ # 将 example.com 替换为你自己的域名 -p 80:80 \ -p 443:443 \ -p 25:25 \ -p 465:465 \ -p 587:587 \ -p 110:110 \ -p 143:143 \ -p 993:993 \ -p 995:995 \ -p 4190:4190 \ # 开放管理 Sieve 过滤器所需的端口 -v /etc/localtime:/etc/localtime:ro \ -v /path/to/your/data/poste:/var/lib/poste \ -v /path/to/your/data/data:/data \ -t analogic/poste.io:2.3.18 \ && docker logs -f posteio解释参数-e DISABLE_RSPAMD=TRUE: 禁用 Rspamd 反垃圾邮件系统，这有助于降低内存使用量。-e DISABLE_CLAMAV=TRUE: 禁用 ClamAV 抗病毒系统，同样是为了减少内存消耗。-e DISABLE_ROUNDCUBE=TRUE: 禁用 Roundcube Webmail，如果你打算使用其他方式访问邮件，则可以禁用该组件。-e HTTPS=OFF: 禁用所有重定向到加密 HTTP 的操作，这对于使用反向代理的情况非常有用。-e TZ=Europe/Prague: 设置容器内部的时间区域，确保日期时间的正确显示。-p 4190:4190: 如果你需要使用客户端管理外部的 Sieve 过滤器，则还需要开放此端口。配置与集成如果你需要集成 Elasticsearch 来增强邮件搜索功能，可以在运行容器时添加以下参数：-e "ELASTICSEARCH=elasticsearch_host:9200"这里的 elasticsearch_host 应该替换为实际的 Elasticsearch 服务器地址和端口。网关端口放行为了使外部网络能够访问到你的邮件服务器，你需要在网关设备（如路由器）上放行以下端口：SMTP: 25/tcpSubmission: 587/tcpIMAP: 143/tcpPOP3: 110/tcpSecure SMTP (SSL/TLS): 465/tcpSecure IMAP (SSL/TLS): 993/tcpSecure POP3 (SSL/TLS): 995/tcpSieve: 4190/tcp这些端口是标准的邮件服务端口，确保它们被正确配置以允许从外部网络到达邮件服务器的流量。测试邮件服务器启动容器之后，可以通过 docker logs -f posteio 来跟踪容器的日志输出，确认服务是否成功启动。接下来可以通过邮件客户端连接到这个邮件服务器，测试发送和接收邮件的功能。确保 DNS 设置正确指向你的邮件服务器地址，并且 SPF、DKIM、DMARC 等邮件认证机制已经配置好。总结通过 Docker 来部署 Poste.io 邮件服务器不仅简化了安装过程，还提高了灵活性和可管理性。希望这篇博客能帮助你成功搭建起属于自己的邮件服务器。

在OpenWRT路由器上使用arp-scan扫描局域网设备 在OpenWRT路由器环境中，使用arp-scan工具来扫描局域网内的设备是一个常见的需求。然而，在使用过程中可能会遇到一些警告信息，本文将介绍如何解决这些问题，并提供一个简化脚本来实现这一功能。问题背景当你在OpenWRT路由器上运行arp-scan时，可能会遇到以下警告信息：WARNING: Cannot open MAC/Vendor file /usr/share/arp-scan/ieee-oui.txt: No such file or directory WARNING: Cannot open MAC/Vendor file /etc/arp-scan/mac-vendor.txt: No such file or directory这些警告信息是因为arp-scan试图读取MAC地址对应的厂商信息文件，但在指定路径下没有找到这些文件。尽管这些警告不会影响扫描的结果，但为了更好的用户体验，我们可以消除这些警告。解决方案忽略警告如果你可以接受没有MAC地址对应的厂商信息，并且这些警告信息不影响你的使用，可以选择忽略它们。arp-scan已经成功扫描到了局域网内的设备。安装厂商信息文件如果你希望arp-scan能够显示MAC地址对应的厂商信息，可以手动下载这些文件并放置在相应的路径下。下载并安装厂商信息文件创建必要的目录mkdir -p /usr/share/arp-scan mkdir -p /etc/arp-scan下载IEEE OUI文件wget -O /usr/share/arp-scan/ieee-oui.txt https://standards-oui.ieee.org/oui/oui.txt下载简化的厂商映射文件wget -O /etc/arp-scan/mac-vendor.txt https://raw.githubusercontent.com/vektra/macsvendor/master/macsvendor/db/macvendors.db修改脚本以忽略警告如果你不希望看到这些警告信息，可以在脚本中添加对这些警告的忽略。例如，可以通过重定向标准错误输出到/dev/null来忽略这些警告：#!/bin/sh # 获取当前设备的主要网络接口（假设为主网卡） INTERFACE=$(ip route get 1 | awk '{print $5}') # 确保使用的是局域网接口 if [[ "$INTERFACE" =~ ^eth ]]; then INTERFACE="$INTERFACE" else INTERFACE="br-lan" # 假设局域网接口为br-lan fi # 确认接口有IP地址 IP=$(ip addr show $INTERFACE | awk 'NR==2{print $2}' | cut -f1 -d'/') if [ -z "$IP" ]; then echo "Error: The interface $INTERFACE does not have an IP address." exit 1 fi # 使用arp-scan扫描局域网内的设备 echo "Scanning for devices on the local network..." DEVICES=$(arp-scan --interface=$INTERFACE --localnet 2>/dev/null) # 输出结果 if [ -z "$DEVICES" ]; then echo "No devices were detected on the network." else echo "The following devices are connected to the network:" echo "$DEVICES" fi在这个脚本中，arp-scan命令的标准错误输出被重定向到了/dev/null，从而忽略了所有警告信息。使用说明保存脚本：将上述脚本保存为一个文件，例如scan_network_devices.sh。赋予执行权限：使脚本可执行。chmod +x scan_network_devices.sh运行脚本：执行脚本以开始扫描。./scan_network_devices.sh结论无论采用哪种方法，你都可以继续使用arp-scan来扫描局域网内的设备。希望这篇文章对你有所帮助！