🔥 BRAVE 質押池已上線 — 在錢包搜尋 BRAVE 即可委託

USB-Uncensored-LLM:口袋里的无审查便携大模型环境

    • #33973

      USB-Uncensored-LLM 是一个开源的、零安装、完全离线的便携式本地大语言模型(LLM)运行环境。该项目由 techjarves 发起,允许用户将无审查的大模型及运行引擎直接装入 U 盘或移动硬盘,在不同设备间即插即用。

      核心设计与技术亮点

      • 完全网络隔离(Air-Gapped): 运行期间完全不需要连接互联网,数据与对话记录绝对私密。
      • 无审查限制(Uncensored): 该环境支持通过消融技术处理的大模型(如微调版 Gemma、Qwen 等),不会对用户的提示词进行道德说教或拒绝响应。
      • 多平台兼容: 采用统一的架构设计,无缝支持 Windows、macOS、Linux 甚至是基于 Termux 的 Android 移动设备。
      • 零依赖安装: 无需在宿主机上配置复杂的 Python 环境、CUDA 驱动或 Docker。
      • 跨平台持久化: 聊天历史记录和模型权重统一存储在 U 盘中,跨系统使用仍可保持连贯性。

      硬件配置与系统要求

      硬件维度最低配置推荐配置
      存储介质USB 3.0 U 盘 / 8 GB 空闲空间便携式 SSD 固态硬盘 / 16 GB 以上空间
      系统内存 (PC)8 GB RAM(运行 2B/4B 轻量模型)16 GB 内存或以上(流畅运行 9B/12B 模型)
      移动端内存 (Android)6 GB RAM(仅跑 2B 模型)8 GB 至 12 GB RAM

      快速上手与运行步骤

      1. 部署与初始化

      将该项目克隆或下载解压至 U 盘或本地硬盘中。根据当前的操作系统,进入对应的文件夹执行初始化脚本来下载模型引擎:

      • Windows: 双击运行 Windows/install.bat
      • macOS: 打开终端,将 Mac/install.command 拖入并回车。
      • Linux: 在终端执行 bash Linux/install.sh
      • Android: 在 F-Droid 版本的 Termux 中执行 bash Android/install.sh

      2. 启动服务

      初始化和模型下载完成后,运行对应系统的启动脚本(例如 Windows 下运行 start-fast-chat.bat)。系统会自动拉起内置的 llama.cpp 后端服务,并自动调用浏览器打开专用的 Chat UI 交互界面。

      3. 局域网共享

      该环境还支持跨设备访问。只要宿主机与手机处于同一 Wi-Fi 网络下,用户就可以在手机浏览器中直接输入宿主机的局域网 IP 和端口(默认 3333),直接调用 U 盘中的大模型进行流式对话。

  • 抱歉,回覆主題必需先登入。