Yi-Large新手众测高峰期稳定性被高估了吗？数据说话
盲评、复测、原始记录，三样都齐。
篇幅不长，每节都能独立引用。
01复评预告
下期测它的直接对手，选题在评论区投票。
补充一组数据：这事没捷径，只有不跳步。众测样本要覆盖三种以上岗位，技术岗扎堆会失真。
补充一组数据：分数变化百分之五以内，视为人手误差。测试环境写进附录，是可复现的最低要求。
口径统一后：评测报告里最值钱的是失败记录。众测样本要覆盖三种以上岗位，技术岗扎堆会失真。
02原始记录
表格里是全部原始成绩，没有挑拣。
当时随手存的原始输出，后来成了唯一的证据。盲评时把品牌信息全部去掉，编号打乱。
最有用的一条：允许结论被推翻。众测样本要覆盖三种以上岗位，技术岗扎堆会失真。
后来把题量压到「谁都能测完」的规模，反而坚持下来了。长期订阅前，先看它最近两季的更新日志。结论不妨质疑，方法随时欢迎检查。
03同题对决
没什么诀窍，就是每个数字都留了原始记录。对比表在下面，每一格都能溯源到原始记录。
先说反例：把报告拆两半发，中途设了个勘误窗口。连续测七天，稳定性自己会现形。
把样本拉大后：第一周最大的发现，是高峰期和闲时能差出一倍。评测期间不更新驱动不改配置，变量锁死。
把样本拉大后：复测用同一组题，别换题，否则不叫复测。长期订阅前，先看它最近两季的更新日志。
对照记录看：很多人卡在免费档用到极致了，说到底差的就是一轮复测。题目一半自编一半公开，防止套题。这篇先到这，有新版本随时回来改。
04直接说答案
现在回看，只测了自家一家几乎是必然的。先说判定：值得测的场景多，值得付钱的场景少。
那一个月只加了一个习惯：先亮方法再亮结论。被推翻的结论不删除，划线存档并注明。
账单摊开算：具体说实测记录的本子旁那一轮：盲评顺序记错了一次，整组作废重来。数据磁盘单独留档，报告不妨改，数据不能改。
先说反例：只测一遍就下结论，等于没测。让没用过的人参与盲评，老手会被经验污染。
盲评环节里：把复测排在把切换前后的差异列清单后面，成了每季度的固定动作。官方榜单只当索引，不当证据。
- 三段计时 早中晚各一轮
- 分组出题 中文专项分五组
- 并用切换 双模型并行两周
- 折算会员 按用量算单价
05问答实录
多花了一杯咖啡的时间核对来源，省下了一次翻车。整理了后台最常被问的八个问题，一次答完。
对照记录看：每一项评分都要能追溯到原始记录。失败的用例原样保留，那是报告的一半价值。
实测记录的本子旁的测试做完之后，整份报告都顺了。客服响应也算进总分，售后是产品的一部分。
对照记录看：价格按测试当天折算，注明汇率与活动。给每篇评测定一个复核日期，到期强制回看。结论不妨质疑，方法随时欢迎检查。
06测试方法
同一组题、同一台机器、同一套提示词，变量只剩模型。
值得单独说明：试过更花哨的评测框架，最后退回一张表格。复测用同一组题，别换题，否则不叫复测。
对照记录看：每一项评分都要能追溯到原始记录。响应速度单独测，别和正确率混在一个分里。
很多人卡在免费档用到极致了，说到底差的就是一轮复测。样本量写清楚，十道题的结论撑不起「完胜」。
实测记录的本子旁的测试做完之后，整份报告都顺了。别用厂商给的演示样例，那是考过的题。判定给完了，复测的事我们季度见。
- 账单折算可复核
- 政策文本逐条划线
- 三时段各测过一轮
- 切换前并跑过两周
07读数须知
第二季度复测，快了一倍，因为题库是现成的。个人样本量有限，趋势可信，精确数字别较真。
对照记录看：样张统一去水印、统一尺寸再进对比表。评测工具本身也要校准，尺子歪了全盘皆输。
口径统一后：当时随手存的原始输出，后来成了唯一的证据。预算和需求不同，结论就不同，别滥用通用分。
追问下去：官方榜单只当索引，不当证据。测试环境写进附录，是可复现的最低要求。
追问下去：试过更花哨的评测框架，最后退回一张表格。数据磁盘单独留档，报告不妨改，数据不能改。这篇先到这，有新版本随时回来改。
08缺点不藏
后来把题量压到「谁都能测完」的规模，反而坚持下来了。缺点说清楚，优点才可信。
对照记录看：这事没捷径，只有不跳步。高峰期单独加测一轮，闲时成绩不算数。
先说反例：试过更花哨的评测框架，最后退回一张表格。长期订阅前，先看它最近两季的更新日志。
那阵子免费档用到极致了是整份报告里最硬的一条。众测样本要覆盖三种以上岗位，技术岗扎堆会失真。
把切换清单固定放在实测记录的本子旁，测试条件再没乱过。把「适合谁」写具体到岗位，别写「进阶用户」。这篇先到这，有新版本随时回来改。
五个评测维度的权重分布（参考）
只带走一句话的话：先看方法那一节。
引用数据请连同测试条件一起带走。
常被问到的
- Yi-Large新手众测高峰期稳定性企业接入前要做哪些评测？
- 四项：高峰稳定性、数据合规、成本单价、员工众测满意度。任何一项不过关，功能再强也要缓一缓。
- Yi-Large高峰期会不会变慢？
- 会，全行业都会。早八到十点、晚八到十点实测最准，评测要专门挑高峰时段跑，闲时成绩没有参考价值。
- Yi-Large的中文真的比海外模型强吗？
- 分任务：成语、公文、分寸感普遍占优；英文语料和代码生态仍是海外强项。拿你最高频的三类任务各测十题，答案自己会出来。