Open-LLM-VTuber 是一款开源的语音交互式 AI 伴侣项目，核心能力是让用户通过语音（免提）与任意本地或云端大语言模型对话，并拥有一个生动的 Live2D 形象。与 SadTalker、LatentSync 等“生成一段数字人视频”的模型不同，Open-LLM-VTuber 的定位是“持续在线的桌面 AI 伴侣”——它不生成视频文件，而是实时运行在你的电脑上，等待你开口说话，用 Live2D 形象实时回应。
从版本谱系来看，Open-LLM-VTuber 已发展出以下主要版本线：
v0.x 早期系列（2024年） ：项目最初以 t41372/Open-LLM-VTuber 仓库形式发布，支持基础的语音对话、Live2D 形象和语音打断功能。v0.3.1 是这一阶段的代表性版本，引入了 FishTTS API 和语义化版本管理。这一阶段的架构较为松散，配置和启动方式较为复杂。
v1.0.0（2025年1月） ：系列的分水岭版本，对整个项目进行了彻底的重构。后端服务基于 ServiceContext 进行模型管理，前端和通信层全面重写，超过240个新提交。v1.0.0 引入了模块化设计、多角色支持、代理（Agent）配置系统等核心架构。由于重构幅度较大，v1.0.0 与之前版本存在不兼容变更，旧的 conf.yaml 配置文件无法直接使用。
v1.0.1（2025年） ：v1.0.0 的补丁版本，修复了发布后的关键 bug，是 v1.0.x 系列的实际稳定版本。
v1.1.0（2025年2月20日） ：功能扩展版本，新增群聊功能和 Silero-VAD 语音活动检测。群聊功能允许在同一个界面中与多个 AI 角色同时对话，Silero-VAD 提升了语音检测的准确性和响应速度。
v1.2.0（2025年8月3日） ：重大更新版本，包含基于 Letta 的长期记忆系统、MCP 服务器支持、Live2D Cubism 5 支持、前端页面中文支持、BiliBili 弹幕接收等多项重磅功能。许可证方面，前端从“未指定许可证”转为 Open-LLM-VTuber License 1.0，后端在 v1.2.0 中仍保持 MIT。
v1.2.1（2025年8月26日） ：v1.2.0 的修复版本，包含前端的重要修复，以及包含 sherpa-onnx-asr 的 SenseVoice 模型的整合包，避免了从 GitHub 手动拉取模型的麻烦。
v2.0（规划中） ：项目团队已宣布正在规划 v2.0，将对代码库进行完全重写，目前处于早期讨论和规划阶段。
第二部分：各版本详细对比与拆解
一、核心版本参数对比
维度 v0.x v1.0.0 v1.1.0 v1.2.0 / v1.2.1
发布时间 2024年 2025年1月 2025年2月 2025年8月
核心架构 松散脚本架构 ServiceContext 重构 模块化 Agent 系统 Agent + MCP + Memory
长期记忆 不支持 基础对话历史 基础对话历史 Letta 长期记忆
群聊功能 不支持 不支持 支持 支持
语音活动检测 基础 基础 Silero-VAD Silero-VAD
MCP 工具调用 不支持 不支持 不支持 支持
Live2D 支持 Cubism 3/4 Cubism 3/4 Cubism 3/4 Cubism 5
视觉感知 不支持 基础 基础 摄像头/屏幕/截图
BiliBili 弹幕 不支持 不支持 不支持 支持
前端中文 不支持 不支持 不支持 支持
许可证 未指定 MIT MIT 前端 OLV License 1.0 / 后端 MIT
从 v0.x 到 v1.2.x，Open-LLM-VTuber 的演进呈现出一条清晰的“架构重构—功能扩展—能力整合”路径。v1.0.0 完成了从“脚本集合”到“模块化应用”的架构跃迁，v1.1.0 在架构基础上扩展了群聊和 VAD 能力，v1.2.0 则将长期记忆、MCP 工具调用和视觉感知整合为完整的交互体验。
二、v1.0.0 架构重构拆解
v1.0.0 是 Open-LLM-VTuber 历史上最具颠覆性的版本。在此之前，项目是一个“能跑起来就行”的脚本集合；v1.0.0 之后，它变成了一个“可维护、可扩展、可配置”的模块化应用。
ServiceContext 模型管理是 v1.0.0 架构的核心。后端服务通过 ServiceContext 统一管理 ASR、LLM、TTS 和翻译模型，每种模型都可以独立配置和替换。用户可以把本地跑得动的组件放在本地运行，跑不动的用 API 替代——这一“按需分配”的设计使项目的最低设备要求降到了“一台电脑，树莓派也行”。
异步架构是 v1.0.0 在性能层面的关键升级。后端服务采用全新的异步架构设计，显著提升了内存使用效率和并发处理能力。这一升级为后续的群聊功能和实时视觉感知奠定了技术基础。
多角色与代理配置使 v1.0.0 支持在一个实例中配置多个不同性格、不同声音的 AI 角色。每个角色可以拥有独立的提示词、音色设置和模型配置，用户可以在对话过程中切换角色。这一设计为 v1.1.0 的群聊功能提供了直接的技术准备。
三、v1.2.0 长期记忆与 MCP 拆解
v1.2.0 是 Open-LLM-VTuber 从“对话工具”升级为“AI 伴侣”的关键版本。
基于 Letta 的长期记忆系统是 v1.2.0 最核心的能力升级。借助 Letta 的长期记忆系统和聊天记录持久化存储，AI 能够记住过去的对话，用户随时可以继续之前未完的对话，不会丢失任何珍贵的互动瞬间。这意味着 Open-LLM-VTuber 不再是一个“每次打开都从零开始”的聊天窗口，而是一个能够积累记忆、形成用户画像的持续陪伴型 AI。
MCP 服务器支持使 AI 角色能够利用外部工具完成更广泛的任务。通过 MCP（Model Context Protocol）框架，AI 可以查询实时信息（天气、新闻）、控制智能家居设备、搜索网络，甚至操控浏览器为用户执行任务。v1.2.0 还支持 BiliBili 弹幕接收，使 AI 能够与直播观众实时互动。
Live2D Cubism 5 支持使项目能够使用最新版本的 Live2D 模型。Cubism 5 在表情表现力、物理模拟和渲染质量方面相比前代有显著提升，使虚拟角色的动态表现更加自然。
第三部分：为什么分这么多版本？
一、从“能对话”到“记得住”再到“能做事”的场景递进
Open-LLM-VTuber 的版本分化遵循一条清晰的“交互能力—记忆能力—执行能力”递进路径。v1.0.0 解决了“能否用模块化架构实现稳定的语音对话”的问题，ServiceContext 和异步架构使项目从一个实验性脚本集合变成了可维护的应用。v1.1.0 解决了“能否同时与多个角色对话”的问题，群聊功能和 Silero-VAD 扩展了交互的社交维度。v1.2.0 解决了“AI 能否记住过去并调用外部工具”的问题，Letta 长期记忆和 MCP 工具调用将项目从“对话工具”升级为“AI 伴侣”。
二、实时交互范式的技术选择
Open-LLM-VTuber 版本分化的底层逻辑，根植于其对“实时交互”的技术定位。与 LatentSync 等“给定视频和音频，生成唇形同步视频”的离线模型不同，Open-LLM-VTuber 的核心挑战是实时性——用户说话时 AI 需要即时响应，Live2D 形象需要同步动起来，语音打断需要被正确处理。v1.0.0 的异步架构、v1.1.0 的 Silero-VAD 和 v1.2.0 的 MCP 工具调用，每一项技术选择都服务于“让交互更自然、更即时”这一核心目标。
三、开源社区驱动的功能演进
Open-LLM-VTuber 的版本分化还体现了开源社区驱动开发的典型模式。项目的功能优先级很大程度上由社区需求决定——群聊功能来自社区投票，MCP 支持来自开发者贡献，BiliBili 弹幕接收来自中文社区的需求。v2.0 的完全重写规划也来自社区的广泛讨论，多数社区成员愿意通过 Zulip 参与 v2 讨论并参加每周会议。
四、从“工具”到“伴侣”的产品定位升维
Open-LLM-VTuber 的版本分化最终服务于一个独特的产品定位：AI 伴侣。与 SadTalker 等“生成一段数字人视频”的工具不同，Open-LLM-VTuber 追求的是持续陪伴——AI 角色常驻桌面，记得你说过的话，能在你需要时开口说话，能在你打开屏幕共享时“看到”你在做什么。长期记忆系统的引入使 AI 能够积累与用户的互动历史，MCP 工具调用使 AI 能够主动帮用户完成任务。这一产品定位使 Open-LLM-VTuber 在数字人领域中走出了一条独特的“陪伴型 AI”路线。
第四部分：最著名版本——v1.2.1 本地部署实战
v1.2.1 是当前最新稳定版本，包含 v1.2.0 的全部功能以及前端修复和预打包的 SenseVoice ASR 模型。以下为完整的本地部署步骤。
步骤一：环境准备与硬件规划
硬件配置基准：
最低要求：一台电脑（树莓派也行），所有组件均可使用 API 替代本地运行
本地运行推荐：M 系列芯片 Mac / Nvidia GPU / 较新 AMD GPU（支持 ROCm）
浏览器：仅推荐使用 Chrome，Edge 和 Safari 存在已知问题
网络：中国大陆用户建议开启代理，确保能下载所有资源
软件环境清单：
Python 3.10–3.12
Git
FFmpeg（必需依赖，缺失会导致音频文件错误）
uv 包管理器（v1.0.0 后推荐使用）
步骤二：获取项目代码
bash
# 克隆仓库
git clone https://github.com/Open-LLM-VTuber/Open-LLM-VTuber.git
cd Open-LLM-VTuber
或从 Release 页面下载预打包版本：
Open-LLM-VTuber-v1.2.1-zh.zip（包含 sherpa-onnx-asr 的 SenseVoice 模型，无需从 GitHub 拉取）
步骤三：安装依赖
bash
# 安装 uv 包管理器（推荐）
pip install uv
# 安装项目依赖
uv sync
如果使用预打包版本，可跳过依赖安装步骤。
步骤四：配置模型
编辑项目根目录下的 conf.yaml 配置文件。核心配置包括：
LLM 配置（以 OpenAI 兼容 API 为例）：
yaml
llm_configs:
- name: "openai_compatible"
llm_type: "openai_compatible_llm"
base_url: "https://api.openai.com/v1"
model: "gpt-4o-mini"
api_key: "your-api-key"
ASR 配置（使用预装的 SenseVoice）：
yaml
asr_config:
asr_type: "sherpa_onnx_asr"
model_path: "./models/sensevoice"
TTS 配置（使用 edge_tts，无需额外模型下载）：
yaml
tts_config:
tts_type: "edge_tts"
voice: "zh-CN-XiaoxiaoNeural"
步骤五：启动后端服务
bash
# 启动后端
uv run run_server.py
服务启动后，WebSocket 服务器运行在 localhost:12393。
步骤六：打开前端
浏览器访问 http://localhost:12393。推荐使用 Chrome 浏览器。首次打开时，需要授予麦克风和摄像头权限。
步骤七：Docker 部署（可选）
对于偏好容器化部署的用户：
bash
# 构建镜像
docker build -t open-llm-vtuber .
# 运行容器
docker run -it --net=host --rm \
-v $(pwd)/conf.yaml:/app/conf.yaml \
-p 12393:12393 open-llm-vtuber
注意：Docker 镜像体积较大（约13GB），仅支持 NVIDIA GPU 设备，且需要配置 NVIDIA Container Toolkit。
步骤八：启用长期记忆（v1.2.0+）
在 conf.yaml 中启用 Letta 长期记忆：
yaml
agent_config:
agent_type: "letta_agent"
letta_config:
base_url: "http://localhost:8283"
agent_id: "your-agent-id"
长期记忆存储在本地，AI 能够记住过去的对话内容。
步骤九：启用视觉感知
在 conf.yaml 中配置视觉感知功能：
yaml
vision_config:
enable_camera: true
enable_screen_share: true
enable_screenshot: true
启用后，AI 可以通过摄像头看到用户，或通过屏幕共享看到用户的屏幕内容。
步骤十：监控与调优
关键指标监控：
响应延迟：取决于 LLM API 的响应速度
显存占用：取决于选择的本地模型（ASR/LLM/TTS）
Live2D 渲染帧率：Chrome 浏览器中通常流畅
降本策略：对硬件条件有限的用户，可以将 LLM 和 TTS 使用 API 调用，仅在本地运行 ASR 和 Live2D 渲染。对于追求完全离线运行的用户，可使用 Ollama 运行本地 LLM，搭配 sherpa-onnx-asr 和 GPT-SoVITS 实现全本地部署。
第五部分：不同版本的实践结果
案例一：桌面 AI 伴侣日常陪伴——从“聊天窗口”到“会看屏幕的伙伴”（基于 v1.2.1）
一位用户在体验记中描述了自己与 Open-LLM-VTuber 的日常互动。用户不需要敲键盘、不需要反复切窗口，只要开口说话，AI 就能听见；用户打断它，它也不会机械地继续念台词；用户给 AI 换人设、换声音、换模型，它就像换了一种灵魂。最让用户惊喜的是视觉感知功能——它甚至能“看见”用户的屏幕和摄像头画面，像一个真正陪伴在身边的 AI 伙伴。
实践成效：这一案例代表了 Open-LLM-VTuber 在日常陪伴与桌面交互场景中的核心价值。用户分享了一个具体场景：当他在写代码遇到问题时，直接对 AI 说“这段代码有 bug”，Open-LLM-VTuber 通过屏幕共享看到高亮的报错信息，直接帮他定位问题。这种“看到即理解”的交互方式，使 AI 从“问答工具”升级为“协作伙伴”。社区反馈中，有用户表示“Discord 上也有人实时答疑，响应速度还行，比我在别的开源项目里问问题没人搭理强多了”，反映了项目活跃的社区生态。
案例二：长期记忆驱动的持续对话——AI 记得你说过的话（基于 v1.2.0）
一位用户在日常使用中体验了 v1.2.0 引入的 Letta 长期记忆系统。用户在第一天的对话中告诉 AI 自己正在学习吉他，AI 记住了这一信息。第二天用户再次打开 Open-LLM-VTuber 时，AI 主动询问“昨天说的吉他练习得怎么样了？”用户还发现，AI 能够记住他偏好的聊天风格、感兴趣的话题、甚至之前讨论过的具体项目细节。
实践成效：这一案例代表了 Open-LLM-VTuber 在持续陪伴与个性化交互场景中的独特价值。传统对话式 AI 每次打开都是“初次见面”，用户需要反复介绍自己的背景和偏好。长期记忆系统的引入使 AI 能够积累对用户的理解，形成“认识你”的陪伴感。聊天记录持久化存储意味着用户随时可以继续之前未完的对话，不会丢失任何互动瞬间。这一能力使 Open-LLM-VTuber 从“每次从零开始的聊天机器人”升级为“有记忆的 AI 伴侣”。
案例三：Live2D 虚拟角色与 B 站直播互动（基于 v1.2.0）
一位 B 站 UP 主使用 Open-LLM-VTuber 搭建了 AI 虚拟主播直播间。通过 v1.2.0 新增的 BiliBili 弹幕接收功能，AI 角色能够实时读取直播间弹幕并以 Live2D 形象进行语音回应。观众发送弹幕提问，AI 角色用语音回答，Live2D 形象同步做出表情和动作。
实践成效：这一案例代表了 Open-LLM-VTuber 在直播互动与虚拟主播场景中的落地价值。传统虚拟主播需要真人中之人操控，成本高且受限于主播的时间和精力。Open-LLM-VTuber 使 UP 主能够以极低的成本搭建一个 24 小时在线的 AI 虚拟主播，通过弹幕接收和语音回应实现与观众的实时互动。MCP 工具调用能力进一步扩展了互动可能性——AI 角色可以查询天气、搜索信息，在直播中完成“实时信息播报”等传统虚拟主播难以实现的功能。项目的开源属性使 UP 主可以根据自己的需求定制角色性格、声音和外观，打造独一无二的虚拟主播形象。
版权声明：本平台仅提供信息存储空间服务，用户发布内容不代表本站观点，交易风险自担；侵权违法内容请立即举报（邮箱：37996619@qq.com），本站接通知后先行屏蔽，责任由发布者承担。