• 人工智能研究

  Glass：一个借助LLM进行信息处理的桌面端工具

  發布人 Brave 2025-09-17 13:49

  Glass by Pickle 是一个开源桌面应用程序，其核心功能是记录你在电脑上的屏幕活动和音频，并利用大型语言模型（LLM）对这些信息进行处理，旨在成为你个人的“数字思维延伸”（Digital Mind Extension）。

  值得注意的是，该项目是另一个开源项目 CheatingDaddy 的一个分支（fork），在原有基础上进行了修改和功能增强。

  它的工作原理和主要功能

  从本质上讲，Glass 在你的桌面上运行，通过以下方式工作：

  • 实时信息捕捉：它会“看到”你屏幕上显示的内容，并能“听到”来自麦克风和系统内部的音频。
  • 信息处理与问答：当你提出问题时（通过快捷键 Ctrl/Cmd + Enter），它会整合近期捕捉到的屏幕和音频上下文，交由你选择的 AI 模型进行分析，并给出答案。例如，你可以询问“刚才那个PPT里提到的增长率是多少？”
  • 会议场景应用：在进行线上会议时，它可以实时进行语音转录，并生成会议纪要、摘要和待办事项（Action Items）。
  • API 的灵活性：它不强制绑定特定服务。你可以使用自己的 OpenAI、Gemini 或 Claude API 密钥，也可以选择使用项目方提供的免费密钥。此外，它支持连接本地运行的 Ollama 模型和 Whisper 语音转文本模型，这为注重隐私和定制化的用户提供了更多控制权。

  技术与开发状态

  • 技术栈：项目基于 Python 和 Node.js（要求 v20.x.x版本）构建。为了更好地区分麦克风和系统声音以提高会议记录质量，它还引入了 Rust 来进行声学回声消除（AEC）。
  • 平台支持：目前，它为 macOS 用户提供了即开即用的应用程序。对 Windows 的支持在2024年7月8日被引入，但仍处于测试（beta）阶段。
  • 开发活跃度：该项目正处于非常快速的迭代周期。其更新日志显示，在短时间内密集地增加了对多个主流 LLM、本地模型和新平台的支持。目前，开发者正进行代码重构，这通常意味着为未来更稳定的功能扩展做准备。
  • 待完成功能：名为 “Liquid Glass” 的新用户界面正在开发中（标记为 WIP - Work in Progress），预示着当前的用户体验可能还不是最终形态。

  隐私与开源性质

  开发者声称 Glass 在设计上注重隐私，其具体表现为：它在运行时不会显示在系统的程序坞或任务栏中，也不会出现在常规的截屏或屏幕录制里。项目文档强调没有隐藏的后台持续捕捉或数据分享。

  作为开源项目，其代码是公开的，这为社区审查其安全性和隐私承诺提供了可能性。同时，项目也通过“Help Wanted”标签，邀请社区开发者参与修复错误和开发小功能，这对于希望参与开源项目的初学者来说是一个不错的起点。

  Pickle 公司的目标

  Glass 是 Pickle 公司实现其长远目标的第一步。该公司公开的使命是“为每个人构建一个活的数字克隆”（a living digital clone）。从实际功能来看，Glass 目前扮演的角色是一个数据管道，负责将用户的日常数字行为转化为结构化的、可供查询的数据，为构建这个所谓的“数字克隆”积累素材。

  总而言之，Glass by Pickle 是一个定位清晰的个人知识管理和效率工具。它将当前流行的 AI 能力直接应用于个人电脑的实时信息流上，为用户提供了一个可回溯、可查询的“短期记忆”数据库。不过，考虑到其快速迭代的开发状态和部分功能的测试性质，用户在早期使用中可能会遇到一些不稳定的情况。同时，尽管项目方做出了隐私承诺，但这类持续监控屏幕和音频的工具，其数据安全和隐私边界始终是用户需要审慎评估的议题。

  Brave 回复 29 minutes ago 1 成員 · 0 回复
• 0 回复

登入後即可回复