Harbor 支持的开源 AI 服务：哪些 AI 服务值得本地部署？

人工智能研究

Harbor 支持的开源 AI 服务：哪些 AI 服务值得本地部署？

發布人 Brave 2026-06-05 01:59

Harbor（av/harbor）是一个本地 LLM 栈编排工具，一条命令即可启动完整的前端 + 推理后端 + 周边服务，且所有服务自动预配网络连通。截至 2026 年 5 月（v0.4.19），Harbor 集成了 90+ 个服务，分为三层：Frontends（前端界面）、Backends（推理后端）、Satellites（卫星服务）。

一、Frontends：用户界面层（20 个）

提供与大语言模型交互的界面，覆盖 Web UI、终端、语音、图像生成等多种交互形态。

1.1 Web 聊天界面

Open WebUI — 社区标准 LLM 前端

Harbor 的默认前端，也是社区最广泛采用的 LLM Web 界面。功能极丰富：多用户管理、多模型对话、自定义 Prompt、TTS/STT 语音、Web RAG、文档 RAG。几乎所有后端（Ollama、vLLM、llama.cpp 等）都自动预配置连接到它。支持 OpenAI 兼容后端的接入，意味着所有 Harbor 后端启动后可直接在 Open WebUI 中选择模型。

LibreChat — 多 Provider ChatGPT 替代品

开源 ChatGPT 替代，支持 Anthropic、OpenAI、Azure、Groq、Mistral、Google 等多个商业 API Provider，也支持 Harbor 的本地后端。功能包括模型切换、消息搜索、多用户支持，集成 DALL-E-3 图片生成和多种工具 API。

Lobe Chat — 现代设计多 Provider AI 聊天

开源现代设计聊天框架。支持 OpenAI / Claude 3 / Gemini / Ollama / Azure / DeepSeek / MiniMax 等多 Provider，内置知识库（文件上传 + 知识管理 + RAG）、多模态视觉/TTS、插件系统。界面设计现代化程度在前端中较高。

AnythingLLM — 一体化的桌面 + Docker AI 应用

内置 RAG 和 AI Agent 的桌面及 Docker 应用。它不仅是一个聊天前端，还包含完整的文档嵌入和管理系统，适合需要本地私密 RAG 的团队和个人。Harbor 中标记为 Partial Support。

BionicGPT — 企业级内部 LLM Web UI

面向企业内部部署的 LLM Web 界面，强调隐私和可控。兼容 OpenAI 兼容后端，适合企业自建 AI 助手场景。

Chat Nio — 内置模型市场的综合 LLM 前端

综合性 LLM Web 界面，特性之一是内置模型市场系统，用户可以浏览和选择不同的模型和配置。

SillyTavern — 高级用户的 LLM 聊天前端

功能极其丰富的 LLM 聊天前端，面向高级用户。支持多个 AI 后端、人物设定（Persona）、高级 Prompt 编写、角色扮演扩展。在 AI 角色创作社区中有广泛用户基础。

Onyx — 开源 AI 平台含 MCP 支持

开源 AI 平台，不止是聊天界面。包含 Chat UI、RAG、MCP 支持，以及 40+ 文档连接器（可连接 Google Drive、Confluence、SharePoint 等数据源）。适合企业级知识管理场景。

HuggingFace ChatUI — 驱动 HuggingChat 的开源前端

HuggingFace 官方的开源聊天界面，使用 SvelteKit 构建，驱动着 hf.co/chat 上的 HuggingChat 应用。支持接入开源模型。

Hollama — 极简 Ollama Web 界面

最小的 Ollama Web 界面，只有一个核心功能：对话。几乎无配置，适合只需要简洁聊天能力的用户。

Mikupad — 单 HTML 文件 LLM 前端

极轻量级前端，整个界面在一个 HTML 文件中。无需构建、无需依赖，适合嵌入式或临时使用场景。

1.2 终端界面

oterm — 终端的 Ollama 客户端

基于文本的终端客户端，在命令行中提供对话界面，适合习惯终端的开发者。

Parllama — Ollama TUI 界面

Ollama 的终端界面应用，以 TUI（Terminal UI）形式提供模型管理、对话等功能。

1.3 多模态与图像生成前端

ComfyUI — 最强大的扩散模型图节点界面

面向 Stable Diffusion / Flux 等扩散模型的图节点界面。以节点图的方式构建图像生成管线，支持高度自定义的工作流。Harbor 将其与 Open WebUI 自动集成，使得 Open WebUI 中可直接使用 ComfyUI 生成的图像。

Voicebox — 本地优先 AI 语音工作室

功能完整的本地 AI 语音工作室。支持语音克隆、预设语音、语音生成、听写、转录及 Agent 语音。所有处理在本地完成，无数据外传。

Omnichain — AI 模型视觉编程

可视化编程工具，以图形化方式编排 AI 语言模型的调用逻辑。

ol1 — o1 类推理链 Gradio 应用

一个简单的 Gradio 应用，实现 OpenAI o1 模型的链式推理（Chain of Thought）效果，后端使用 Ollama。适合体验和展示推理链能力。

1.4 其他前端

AstrBot — 跨平台 Agent 聊天机器人

一体化 Agent 聊天机器人平台，支持多个消息平台（如 QQ、Discord、Telegram 等），提供多 LLM 对话、插件系统。同时被归类为卫星服务和前端。

Presenton — AI 演示稿生成器

开源 AI 演示文稿生成器，支持自定义布局、多模型支持、PDF/PPTX 导出。从描述生成完整 PPT。

KoboldCpp — GGUF 模型文本生成（含 Web UI）

基于 GGML/GGUF 模型的易用 AI 文本生成软件，自带 Web 界面。同时被归类为后端。

二、Backends：推理引擎层（24 个）

提供模型实际推理能力的引擎。Harbor 中的所有后端都统一暴露 OpenAI 兼容 API，因此前端可以无缝切换任意后端。

2.1 通用推理引擎

Ollama — 最流行的本地 LLM 管理器

Harbor 的默认后端。将 Llama 3.2、Mistral、Gemma 3 等模型的下载和管理简化为 ollama pull。使用 Go 语言编写，底层封装 llama.cpp。兼容性最广、上手最简单，适合作为起点。

llama.cpp — 纯 C/C++ LLM 推理

使用 C/C++ 实现的 LLM 推理引擎，支持 GGUF 格式。优势在于 CPU 和消费级 GPU 上均可运行，资源占用低。Harbor 提供了独立的 compose 配置，支持通过 harbor llamacpp args 设置 -ngl（GPU 层数）等参数。所有下游前端会自动感知其存在。

ik_llama.cpp — 带额外优化的 llama.cpp 分支

llama.cpp 的分支，增加了额外的量化格式（如 IQ4_NL、Q4_0_4_4 等）以及 CPU/CUDA 性能改进。适合追求极致量化性能的用户。

vLLM — 生产级高吞吐推理引擎

使用 PagedAttention 技术的高吞吐、低显存推理引擎，是目前生产环境部署 LLM 的主流选择。支持多种量化、连续批处理、并行采样等高级特性。

SGLang — LLM 和 VLM 快速推理框架

专为大语言模型和视觉语言模型设计的推理框架，支持快速服务部署。相比 vLLM，在某些工作负载（特别是复杂多轮对话）上有性能优势。

Text Generation Inference — HuggingFace 官方推理引擎

HuggingFace 官方的推理引擎（简称 TGI），使用 Rust + Python 编写。与 HuggingFace Hub 深度集成，支持消息队列、流式输出、连续批处理。

Aphrodite Engine — 大规模 LLM 推理

大规模 LLM 推理引擎，支持多节点推理、多种量化格式（GPTQ、AWQ、GGUF 等）。适合需要在多 GPU 上运行大模型的场景。

TabbyAPI — exllamav2 轻量推理 API

基于 exllamav2 的轻量 OpenAI 兼容 API，针对量化模型（GPTQ/EXL2）做了优化。启动快、资源开销低。

mistral.rs — Rust 实现的高速 LLM 推理

使用 Rust 编写，宣称"极速"的 LLM 推理引擎。Rust 的内存安全性 + 推理性能使其在特定场景下优于 Python 实现的引擎。

lmdeploy — 高效 LLM 部署框架

高效推理部署框架，支持 TensorRT、FP8、权重仅加载等优化技术。Harbor 中标记为 Partial Support。

KTransformers — 前沿推理优化实验框架

灵活的 LLM 推理优化框架，集成了 MoE 稀疏性、Speculative Decoding、量化等技术。适合尝试前沿推理优化的用户。

Modular MAX — Modular 公司的 LLM 平台

来自 Modular（Mojo 语言的创造者）的 LLM 运行平台。使用 MAX 引擎提供推理能力。

2.2 硬件特性后端

Docker Model Runner — Docker 管理的 macOS Metal 推理

由 Docker 管理的本地模型运行器（dmr），通过 OpenAI 兼容代理暴露给 Harbor。在 macOS 上利用 Metal API 进行 GPU 加速，无需容器内 GPU 透传。

MLX — Apple Silicon 原生推理

Apple Silicon（M 系列芯片）上的原生机器学习框架。Harbor 通过 OpenAI 兼容代理管理 MLX 模型推理，在主机上运行（非容器内），充分利用 Metal GPU。

oMLX — MLX 的 Harbor 封装变体

和 MLX 类似，也是 Apple Silicon 原生推理的 Harbor 封装版本。

Lemonade — AMD 优化的多模态本地 AI 服务器

本地 AI 服务器，支持 LLM 对话、语音转文字、文字转语音和图像生成。特别针对 AMD 硬件进行了优化，是当前为数不多对 AMD GPU 有良好支持的方案。

2.3 低资源推理

AirLLM — 单 4GB GPU 运行 70B 模型

实现单卡 4GB 显存运行 70B 参数模型的技术（通过分层推理），但速度非常慢。适合极端低资源环境下的测试和验证。

Nexa SDK — ONNX 和 GGML 统一工具包

全面工具包，同时支持 ONNX 和 GGML 模型格式。提供统一的接口管理多种格式的模型。

2.4 语音推理后端

Speaches — OpenAI 兼容语音服务器

OpenAI API 兼容的语音服务，同时支持 TTS（文本转语音）和 STT（语音转文本）。原名 faster-whisper-server，后更名为 Speaches。Harbor 中可自动连接到 Open WebUI 的语音功能。

openedai-speech — OpenAI 兼容 TTS 服务器

使用 Coqui AI 的 XTTS v2 和/或 Piper TTS 引擎。实现 OpenAI 兼容的文本转语音 API。

Parler — HuggingFace 高质量 TTS

HuggingFace 的高质量 TTS 推理和训练库。适合需要高质量语音生成但不需要 STT 的场景。

2.5 函数调用专用后端

Needle — 轻量函数调用模型服务

小型函数调用模型，通过 OpenAI 兼容的 Tool Calling API 提供服务。面向需要工具调用但不想跑大模型的场景。

三、Satellites：周边服务层（50+ 个）

不与 LLM 推理直接相关，但极大拓展 AI 栈功能的独立服务。按功能领域分为以下子类别。

3.1 RAG 与知识检索

SearXNG — 隐私元搜索引擎（Web RAG 入口）

隐私保护的元搜索引擎，聚合多个搜索引擎的结果。Harbor 自动将 SearXNG 配置给 Open WebUI、Perplexica、ChatUI、Morphic 等多个前端作为 Web RAG 的数据源。一条 harbor up searxng 即可为整个 AI 栈开启联网搜索能力。

Perplexica — 开源 Perplexity AI 替代

AI 搜索引擎，模仿 Perplexity AI 的交互方式：输入问题，输出带来源引用的综合分析结果。使用 SearXNG 作为搜索后端，LLM 作为推理引擎。

Morphic — 基于生成式 UI 的 AI 搜索

类似 Perplexity 的 AI 搜索引擎，但前端使用生成式 UI（streaming 方式动态渲染页面），视觉效果更流畅。

Local Deep Research — 复杂问题到综合报告

类似 OpenAI Deep Research 的本地版本。接收复杂问题，通过多轮搜索和分析生成带引用的综合研究报告。

DeerFlow — 社区驱动深度研究框架

字节跳动社区的深度研究框架。结合 LLM + 网页搜索 + 爬虫 + 多 Agent 工作流，生成全面研究报告。

Qdrant — 高性能向量数据库

高性能向量搜索引擎，用 Rust 实现。支持大规模向量索引和相似度搜索，可作为本地 RAG 管线的知识存储层使用。

txtai RAG — RAG WebUI

基于 txtai 构建的 RAG WebUI。txtai 是一个嵌入式 AI 数据库，内置向量搜索、图谱、LLM 编排等功能。适合需要轻量 RAG 管线的用户。

RAGLite — Python RAG 工具包

Python 工具包，用于构建检索增强生成管线。提供文档切分、嵌入、检索等组件。

Kotaemon — 开箱即用文档聊天 RAG

开源 RAG 工具，专注于"与文档对话"场景。支持多格式文档上传和交互式问答。

Khoj — AI 第二大脑

个人 AI 知识助手，支持聊天、搜索、Agent。可以索引本地文档，提供基于私有知识的 AI 问答。支持本地和云端 LLM。

Docling — 文档转 LLM 就绪格式

文档转换工具，将 PDF、DOCX、PPTX 等格式转换为 LLM 可直接处理的格式（Markdown、JSON）。是 RAG 管线的前置环节。

Agent Zero — 通用个人助理

通用个人助理，特性包括 Web RAG、持久记忆记忆、工具使用、浏览器控制等。面向自主 Agent 场景。

Airweave — 全应用搜索的 Agent 知识引擎

让 Agent 可以搜索任意应用内容的引擎。将应用内容转换为 Agent 可访问的知识，支持多种数据源连接器。

Cognee — AI Agent 记忆知识引擎

AI Agent 的知识引擎，将文档转换为可搜索的知识图谱和向量。包含内置处理管线，支持结构化记忆。

SurfSense — 私有 NotebookLM

类似 Google NotebookLM 的私有研究空间。支持 RAG、引用溯源、浏览器页面捕获、报告生成和 AI 播客生成。适合需要本地化研究工具的用户。

3.2 工作流与 AI 应用构建

Dify — LLM 应用开发平台

开源 LLM 应用开发平台，提供可视化编排界面。可构建聊天助手、Agent、工作流等多种 AI 应用。支持 RAG、工具调用、多模型切换。

Flowise — 拖拽式 LLM 流程构建器

以拖拽方式构建自定义 LLM 流程节点的低代码工具。适合非开发者快速搭建 AI 应用原型。

n8n — 通用工作流自动化平台

公平代码工作流自动化平台，原生 AI 能力。200+ 节点连接不同服务，可编排复杂的 AI + 非 AI 混合工作流。

LangFlow — 低代码 RAG 和多 Agent 构建器

低代码应用构建器，专注于 RAG 和多 Agent 应用的快速开发。与 LangChain 生态兼容。

Sim Studio — 可视化 AI Agent 工作流

开源可视化 AI Agent 工作流编辑器和部署平台。以画布方式编排多 Agent 协作流程。

Windmill — 内部工具 + 工作流平台

内部工具、工作流和 UI 构建的开源平台。支持多语言脚本（TypeScript、Python、Go 等）编排。

Activepieces — 开源 Zapier 替代

开源工作流自动化平台，200+ 应用连接器，含 AI 能力。适合替代 Zapier / Make 的自托管方案。

LitLytics — LLM 驱动的数据分析平台

LLM 驱动的分析工具，可对文本数据进行自动化分析、分类、提取。适合内容分析场景。

Open WebUI Pipelines — 无 UI 的 OpenAI API 插件框架

UI 无关的 OpenAI API 插件框架，可在请求到达后端前注入自定义处理逻辑。适合对现有后端 API 做改造和增强。

3.3 编码 Agent 和终端工具

Aider — 终端 AI 结对编程

在终端中与 AI 结对编程的工具。能理解仓库上下文，自动编辑代码文件、提交。支持多种 LLM 后端。开发者社区中实际使用率较高。

Open Interpreter — 计算机自然语言接口

自然语言接口，让 LLM 执行 Python 代码、操作文件、控制浏览器等。类似高级版的 Computer Use 概念。

OpenHands — AI 软件开发 Agent

AI 驱动的软件开源 Agent 平台（原 OpenDevin）。可自主完成编码任务：理解需求、编写代码、运行测试、调试修复。

aichat — 全功能 LLM CLI 工具

功能全面的 LLM 命令行工具，相当于终端里的 AI 瑞士军刀。集成 Shell 助手、Chat-REPL、RAG、AI 工具和 Agent、函数调用。

cmdh — 自然语言生成 Linux 命令

在 Shell 中直接输入自然语言描述，自动生成对应的 Linux 命令。适合不熟悉命令行的用户，也适合快速查找不常用的命令。

Fabric — LLM 驱动的文本管道处理

LLM 驱动的文本处理框架，用于在终端中构建文本处理管道。内置大量 Patterns（如摘要、提取关键主张、生成标签等），可组合使用，典型的 Unix 哲学风格。

Plandex — 终端中的 AI 开发助手

终端中的 AI 驱动开发工具，专注于多文件修改的规划和执行。

Bolt.new — Prompt 到全栈应用

从自然语言描述直接生成、运行和部署全栈 Web 应用。StackBlitz 团队出品。

Repopack — 仓库打包为 AI 友好文件

将整个 Git 仓库打包为单一 AI 友好文件（含目录结构和文件内容），方便作为上下文发给 AI 编码工具。

gptme — 简单 LLM CLI

简单轻量的 CLI 工具，用于在终端中与 LLM 交互对话。

OpenCode — AI 编码助手（开源版）

AI 编码助手，包含服务端 API、TUI 和 IDE 扩展。支持多 LLM Provider。Harbor 中将其作为可自托管的编码助手服务运行。

mi — 最小 Agentic 编码 CLI

极简 Agentic 编码 CLI，支持本地和云端的 OpenAI 兼容模型。设计轻量无依赖。

facts — 事实驱动开发 CLI

事实驱动开发（Fact-Driven Development）CLI 工具，管理项目规格说明书供 Agent 验证和实施。

npcsh — Agentic Shell

Agentic Shell 和多 NPC 团队服务器，含 OpenAI 兼容端点、jinxes、本地后端集成。

ML Intern — HuggingFace ML 工程 Agent

HuggingFace 团队出品的 ML 工程 Agent。能够研究论文、训练模型、编写 ML 代码。支持本地和云端 LLM 后端。

OpenClaw — 个人 AI 助手

个人 AI 助手，含自托管网关、控制 UI、多消息平台支持（Discord、Telegram、Slack 等）。

Hermes Agent — 自主 AI Agent

来自 Nous Research 的自主 AI 代理，具有持久记忆、技能学习、多平台网关。

Solo CLI — 边缘设备物理 AI 部署

边缘设备上快速部署 Physical AI 的 CLI 工具。管理模型服务器，支持 MCP 工具。面向机器人等边缘计算场景。

3.4 推理代理与 API 网关

LiteLLM — 多推理 API 聚合代理

LLM 代理，将多个推理 API（本地 + 云端）聚合到单一 OpenAI 兼容端点。支持 Provider 路由、故障转移、速率限制。适合需要统一管理多后端的用户。

OptiLLM — 推理性能优化代理

优化 LLM 代理，实现多种高级工作流提升推理性能：缓存、请求合并、语义路由等。

SuperGateway — LLM API 网关

简单但强大的 LLM API 网关，支持多 Provider 路由、密钥管理、日志记录。

Bifrost — 开源 AI 网关含 Harbor 集成

快速 OpenAI 兼容 AI 网关，提供 Provider 路由、可观测性、Harbor 后端自动引导。

llama-swap — 按需切换多个 llama.cpp 服务器

运行多个 llama.cpp 服务器实例，按需在模型之间切换，Harbor 自动处理路由。

3.5 MCP 基础设施

MetaMCP — MCP 多合一管理网关

通过 WebUI 管理多个 MCP 服务器，并将它们暴露为单一 MCP 服务器，供客户端连接。适合需要同时使用多个 MCP 工具的 Agent。

mcpo — MCP 转 OpenAPI REST API

将 MCP 服务器转换为 OpenAPI 兼容的 REST API。使得不原生支持 MCP 的工具（如 Open WebUI）也可以使用 MCP 工具。

MCP Forge — MCP 网关 + 管理 UI

来自 IBM 的 MCP 网关和管理 UI，管理 MCP 服务器、工具和资源。

DBHub — 零依赖数据库 MCP 服务

零依赖数据库 MCP 服务器，支持 Postgres、MySQL、SQL Server、MariaDB、SQLite。Token 效率优化的设计。

ROS MCP Server — 机器人操作系统 MCP

针对机器人操作系统（ROS）的 MCP 服务器。将 LLM 连接到机器人，实现自然语言控制和感知。

Open Terminal — Agent 远程终端和文件管理 API

远程终端和文件管理 API，为 AI Agent 提供环境访问能力。预配 Open WebUI 和 Harbor 后端。

3.6 评估与可观测性

Harbor Bench — Harbor 内置 LLM 评估

Harbor 自带的 LLM 评估工具，通过 CLI 运行自定义任务基准测试，评估不同模型和推理后端的性能。

lm-evaluation-harness — EleutherAI 标准化评估

EleutherAI 的 LLM 少样本评估框架。行业标准工具，支持几十种评测集（MMLU、HellaSwag、ARC 等）。

Promptfoo — Prompt / Agent / RAG 测试工具

面向开发者的本地测试工具，用于 Prompt、Agent 和 RAG 管线的测试、评估和回归。

LangFuse — LLM 可观测性和工程平台

开源 LLM 工程平台：可观测性、指标、评估、Prompt 管理、Playground、数据集管理。适合对 LLM 行为有监控需求的场景。

Tokscale — AI Token 使用和成本监控

监控 AI Token 使用和成本，跟踪编码助手等工具的 Token 消耗。

K6 — 现代化负载测试工具

Grafana 团队的负载测试工具，使用 Go 和 JavaScript 编写。

3.7 模型微调

Unsloth — LLM 快速微调环境（Jupyter Lab）

Jupyter Lab 环境预装 Unsloth 库。宣称 2x 训练速度 + 70% 内存节省。支持 Llama、Mistral、Gemma 等主流模型架构。

Unsloth Studio — 无代码微调 Web UI

基于 Unsloth 的无代码微调 Wb UI，前端操作即可完成微调配置和执行。底层基于 llama.cpp + HuggingFace。

3.8 图像与视觉

ComfyUI — 扩散模型图形节点界面

（已在 Frontends 列出）最强大的扩散模型 GUI，支持 Stable Diffusion、Flux 等。Harbor 将其与 Open WebUI 自动集成。

PhotoPrism — AI 照片管理器

AI 驱动的照片管理应用。自动人脸识别、图像分类、内容标签、地理标记，以浏览器方式管理本地照片库。

OmniParser — 纯视觉 GUI Agent 解析器

Microsoft 推出的屏幕解析工具，将界面截图解析为结构化元素，供纯视觉 GUI Agent 理解和操作。

Latent Scope — 潜空间可视化工具

用于可视化和探索数据集潜空间的工作流工具，帮助理解模型内部表征。

3.9 翻译与文字处理

LibreTranslate — 开源机器翻译

免费开源机器翻译 API，支持自托管，可作为 AI 翻译管线的基础服务。

SQL Chat — 自然语言 SQL 客户端

基于聊天的 SQL 客户端，用自然语言与数据库通信，自动生成和执行 SQL 查询。

TextGrad — 文本自动微分框架

通过 LLM 实现文本层面的"自动微分"——利用大语言模型反向传播文本梯度。适合优化生成式任务的 Prompt 和输出。

Drawio — AI 驱动图表生成

从自然语言描述生成 draw.io 格式的图表和流程图。

3.10 基础设施和运维

Traefik — HTTP 反向代理和负载均衡

现代化的 HTTP 反向代理和负载均衡器。Harbor 为所有已启动服务预配置了路由规则，提供统一入口。

cloudflared — 安全隧道到互联网

Cloudflare Tunnel 客户端，将 Harbor 本地服务通过安全隧道暴露到互联网。适合临时分享或远程访问。

JupyterLab — Python 交互式笔记本

在 Harbor 网络中运行的 JupyterLab 环境，可以访问所有 Harbor 服务的网络 API。

Webtop — 浏览器中的桌面 Linux

在浏览器中运行完整的 Linux 桌面环境，基于 KasmVNC + Alpine/Ubuntu。适合需要容器内桌面环境的场景。

Home Assistant — 开源智能家居平台

开源智能家居自动化平台。Harbor 集成使其可与 LLM 互动，实现自然语言家庭控制。

Netdata — 实时基础设施监控

单秒级指标的实时监控系统，覆盖系统、容器、应用的各项指标。适合监控 Harbor 服务集群的运行状态。

Beszel — 轻量服务器监控

轻量级服务器监控工具，支持历史数据、Docker 统计、告警推送。比 Netdata 更轻量。

3.11 其他服务

MindsDB — ML 模型 + 数据集成平台

AI 平台，通过 HTTP 和 MySQL API 将机器学习模型与数据源集成。可在数据库内直接调用模型。

Karakeep — AI 书签管理

自托管书签管理器，通过 Ollama 或 OpenAI 自动打标签、分类和搜索。

Resume Matcher — 简历匹配工具

AI 驱动工具，使用本地 Ollama 模型比较简历与职位描述的匹配程度。

Postiz — AI 社交媒体排期

AI 驱动的社交媒体内容排期工具，支持内容管理、分析和团队协作。

Open Notebook — AI 研究笔记平台

AI 研究笔记平台，支持多 Provider LLM、AI 播客生成、内容分析。

Open Design — 本地优先设计工作台

本地优先的设计工件工作台，支持 BYOK 模型 Provider、设计系统、画板、原型，集成 Harbor Ollama。

LocalAI — 完整本地 AI 栈

一站式本地 AI 方案，支持 LLM / TTS / STT / 图像模型的全栈推理，提供 Web UI。

nanobot — 超轻量个人 AI 助手

轻量级个人 AI 助手，支持多渠道消息（Telegram、Discord 等）、定时任务触发。

OpenFang — Rust 编写 Agent 操作系统

基于 Rust 的 Agent 操作系统，用于运行自主 AI Agent，支持调度、40 个通道适配器、27 个 LLM Provider。

四、Harbor 内置工具

Harbor Boost — LLM 工作流优化代理

内置的 LLM 优化代理，连接下游 LLM API 并封装自定义工作流。可以作为完全兼容的 OpenAI 端点，被 Open WebUI 等前端使用。支持通过 Python 脚本自定义模块，内置模块包括 CoT（思维链）、klmbr（创意扰动输出增强）等。

Harbor Bench — 内置 LLM 基准测试

Harbor 自带的 LLM 评估工具，通过 CLI 启动。可定义自定义评估任务，对已启动的推理后端进行基准测试，输出性能指标。

五、跨硬件后端选择速查

硬件平台	推荐后端	注意
macOS Apple Silicon	Docker Model Runner, MLX, oMLX, Ollama, llama.cpp	DM 和 MLX 利用 Metal 直接在主机推理
NVIDIA GPU (CUDA)	vLLM, SGLang, TGI, Aphrodite, TabbyAPI, Ollama, llama.cpp, mistral.rs	需安装 nvidia-container-toolkit
AMD GPU	Lemonade, Ollama, llama.cpp	支持后端较少，Lemonade 是 AMD 优化方案
CPU only	llama.cpp, ik_llama.cpp, Ollama	大模型较慢，适合小模型或量化模型
极低显存 (4GB)	AirLLM（很慢），llama.cpp（4bit 量化）	只有量化小模型可用

数据来源：Harbor Wiki - 2. Services，截至 2026 年 5 月。项目版本 v0.4.19，作者 av，3k+ Stars，207 Forks，1,161 Commits，单一维护者。

Brave 回复 4 days, 23 hours ago 1 成員 · 0 回复

0 回复

歡迎留言回复交流。

登入後即可回复

人工智能研究

組織者: