把 81 个工具塞进提示词,然后想办法拿出来
工具定义的 JSON schema 是输入里最肥的一块。记录一次从 13,400 token 压到 2,244 的过程,包括一个被实测否决的聪明方案。
1417 字
|
7 分钟
让缓存只失效一次
按需加载工具能省钱,但每次切换都打坏缓存。一个"加载过就一直带着"的简单规则,怎么把这两件事的矛盾解开。
1221 字
|
6 分钟
线程开得越多,嵌入越慢
本地向量检索的几个反直觉参数:线程数、召回数量、中文分词、时间衰减的权重。都来自实测,不是经验之谈。
1641 字
|
8 分钟
那些不报错的故障最难查
四个真实案例:模型吐出非法 JSON、表情包被当成空消息、图片被上下文挤没了、正则顺序吃掉转义。它们的共同点是都没有报错。
1693 字
|
8 分钟
提示词的排列顺序,决定了你的账单
一个每天重发上百万 token 的长期在线聊天机器人,为什么把提示词结构当成最需要反复推敲的部分。
1923 字
|
10 分钟
Jaume:一个给 Agent 用的 350M 句子嵌入模型
从零训练一个双向 Transformer 编码器,走完 MLM、对比学习、硬负例、决策头全流程。附第一版技术报告和一篇负结果论文。
1141 字
|
6 分钟
一个项目里同时有四个"真相"
Python 会话表、Rust 事件表、checkpoint、rollout 日志,四套东西都能声称自己记录了对话历史。重构要解决的就是这件事。
1956 字
|
10 分钟
注意力窗口外的东西,模型还记不记得
用一个几百万参数的小模型做一个能"物理切断"注意力窗口的实验。结论比预想的少,但实验装置本身值得写下来。
1535 字
|
8 分钟
1
2