羽汐这个项目,最开始只是一个 QQ 机器人。
它当时的全部功能,是在群里被 @ 的时候回一句话。没有记忆,没有性格,隔天就把前一天聊过的事忘得干干净净。
后来陆续长出了别的东西:一个能管项目文件的本地 Agent 工作台,一个会动会说话的 3D 角色,一堆围绕”让她更像一个人”的实验。这些项目现在共享同一个名字,但各自解决不同的问题。
这篇先把地图铺开。
最重要的那个:让她一直待在那里
核心项目是一套本地优先的 Agent 运行时。它做的是最常见的那类事:连接模型、管理会话、执行工具、处理权限。
真正花时间的不是这些功能,而是三件为了”长期在线”才存在的事。
第一件是成本。一个只在被提问时运转的工具,每次请求都是独立的,贵不贵无所谓;但一个每天主动开口、一天烧掉上百万 token 的进程,每一轮都在花钱。所以这个项目里投入最深的工程方向是上下文成本,而不是回答质量。
第二件是”什么时候闭嘴”。被叫才答的系统不需要判断时机。一个像人的系统得知道现在该不该插话、群里正热闹的时候要不要忍着、深夜要不要保持安静。这催生了一套带预算上限的自主社交机制。
第三件是状态连续。记忆会随时间衰减,情绪会平复,但心情不会因为时间自动变好——如果久不聊天之后突然出现,表现得像”刚睡醒心情很好”,那就很假。这些不是修辞,是写在状态机里的参数。
3D 的那部分
另一条线是让她有身体。
它跑在浏览器里:Three.js 负责渲染,Rapier 负责物理,虚拟形象用的是 VRM 格式。后端不直接控制骨骼,而是通过 WebSocket 持续输出一组上半身的控制点,前端按这些控制点驱动动作。
动作本身由一个小策略网络生成,训练数据来自动捕的 BVH 文件,推理跑在 CPU 上——因为目标场景是低算力设备,GPU 不是随时都有。
语音是另一条链路:本地做识别和静音检测,云端做合成。要让她在被打断时立刻停下来,这条链路里每一段都得能取消。
这个方向最费时间的地方不是模型,是数据。中文的”语气—手势”对应关系几乎没有现成语料,所以自建了一套中文语音和动作的配对数据集。
几个小一点的实验
有个参数只有几百万的小模型实验,试图回答”在注意力之外挂一条持久状态,能不能记住窗口外的东西”。这个实验做出来的结论比预想的少,但把实验装置本身做扎实了,以后可以复用。
有一个早期的长期记忆图项目,想法是让记忆之间互相连接、支持多跳推理。最后因为算力消耗太大被弃用了,只留下设计思路。它没有集成进机器人——这一点之前被我写错过,这里更正一下。
还有一套 Live2D 模型的自动化工具,从 PSD 分层解析到口型区域检测,用来减少手工建模的量。
它们之间的关系
这几条线看起来分散,其实都指向同一个问题:一个虚拟角色要”一直在”,需要什么。
成本工程让她说得起,社交机制让她知道什么时候开口,状态机让她不会每隔一天重置一次,身体和语音让”在”这件事有可感知的形式。
现在的状态是:QQ 机器人在稳定运行,每天的对话量和 token 消耗都有日志;Agent 工作台正在做一次比较大的架构重构;3D 那部分在第一阶段,室内场景的闭环还在推进。
后面会分开写每一块。这篇只是个目录。