星空·体育综合APP安卓下载客户端
百万最新免费软件游戏
下载
选自oatllm.notion.site
机器之心编译
编译：杜伟、华人蛋酱
自我反思（尤其是研究肤浅的）有时对模型性能的助益不大。
在过去这半个月里，团队关于 DeepSeek 的揭秘一切都会迅速成为焦点。
一项非常鼓舞人心的华人发现是：DeepSeek-R1-Zero 通过纯强化学习（RL）实现了「顿悟」。在那个瞬间，研究模型学会了自我反思等涌现技能，团队帮助它进行上下文搜索，揭秘从而解决复杂的华人推理问题。
在 R1-Zero 发布后的研究短短几天内，连续几个项目都在较小规模（如 1B 到 7B）上独立「复制」了类似 R1-Zero 的团队训练，并且都观察到了「顿悟时刻」，揭秘这种时刻通常伴随着响应长度的华人增加。
原文链接：https://oatllm.notion.site/oat-zero
最近，研究来自新加坡 Sea AI Lab 等机构的团队研究者再次梳理了类 R1-Zero 的训练过程，并在一篇博客中分享了三项重要发现：
1. 在类似 R1-Zero 的训练中，可能并不存在「顿悟时刻」。相反，我们发现「顿悟时刻」（如自我反思模式）出现在 epoch 0，即基础模型中。
2. 他们从基础模型的响应中发现了肤浅的自我反思（SSR），在这种情况下，自我反思并不一定会导致正确的最终答案。
3. 仔细研究通过 RL 进行的类 R1-Zero 的训练，发现响应长度增加的现象并不是因为出现了自我反思，而是 RL 优化设计良好的基于规则的奖励函数的结果。
以下是博客的内容：
Epoch 0 的顿悟时刻
实验设置如下：
基础模型。我们研究了由不同组织开发的各种基础模型系列，包括 Qwen-2.5、Qwen-2.5-Math、DeepSeek-Math、Rho-Math 和 Llama-3.x。
提示模板。我们使用 R1-Zero 和 SimpleRL-Zero 中使用的模板直接提示基础模型：
模板 1（与 R1-Zero 相同）
模板 2（与 SimpleRL-Zero 相同）
数据。我们从 MATH 训练数据集中收集了 500 道题，这些题统一涵盖了五个难度级别和所有科目，用于填充上述模板中的 {Question}。
生成参数。我们在 0.1 至 1.0 之间对探索参数（温度）进行网格搜索，以便对选定的问题进行模型推理。在所有实验中，Top P 设置为 0.9。我们为每个问题生成 8 个回答。
经验结果
我们首先尝试了所有模型和提示模板（模板 1 或模板 2）的组合，然后根据每个模型的指令遵循能力为其选择了最佳模板，并将其固定用于所有实验。得出以下结论：
发现：「顿悟时刻」出现在 Epoch 0。我们观察到，所有模型（除了 Llama-3.x 系列）在没有任何后期训练的情况下就已经表现出了自我反思模式。
我们在下表中列出了所有观察到的表明自我反思模式的关键词。请注意，该列表可能并不详尽。这些关键词都是经过人工验证的，「等待」等词被过滤掉了，因为它们的出现并不一定意味着自我反思，而可能是幻觉的结果。我们注意到，不同的模型会显示与自我反思相关的不同关键词，我们假设这是受其预训练数据的影响。
图 1a 展示了在不同基础模型中引发自我反思行为的问题数量。结果表明，在不同的温度下都能观察到自我反思行为，其中一个趋势是，温度越高，在 epoch 0 出现「顿悟时刻」的频率越高。
图 1b 展示了不同自我反思关键词的出现次数。我们可以观察到，Qwen2.5 系列的基础模型在产生自我反思行为方面最为活跃，这也部分解释了为什么大多数开源的 R1-Zero 复现都是基于 Qwen2.5 模型。
图 1a. 在不同基础模型中，500 道数学问题中引发自我反思行为的问题数量。图 1b. 40,000 个回答中出现的关键词数量（500 个问题 × 每个问题 8 个回答 × 10 个温度）。
在确认「顿悟时刻」确实是在没有任何训练的情况下出现在 epoch 0 后，我们想知道它是否如我们所期望的那样 —— 通过自我反思来纠正错误推理。因此，我们直接在 Qwen2.5-Math-7B 基础模型上测试了 SimpleRL-Zero 博客中使用的例题。令人惊讶的是，我们发现基础模型已经表现出了合理的自我纠正行为，如图 2 所示。
图 2. 我们直接在 Qwen2.5-Math-7B 基本模型上测试了 SimpleRL-Zero 博客中报告的同一问题，发现「顿悟时刻」已经出现。
肤浅的自我反思
尽管图 2 中的示例显示了基础模型通过自我修正 CoT 直接解决复杂推理问题的巨大潜力，但我们发现并非所有来自基础模型的自我反思都有效，也并不总能带来更好的解决方案。为了便于讨论，我们将它们称为肤浅的自我反思（Superficial Self-Reflection，SSR）。
就其定义而言，肤浅的自我反思（SSR）是指模型响应中缺乏建设性修改或改进的重评估模式。与没有自我反思的响应相比，SSR 不一定会带来更好的答案。
案例研究
为了进一步了解 SSR，我们进行了案例研究，并观察到 Qwen-2.5-Math-7B 基础模型响应中的四种自我反思模式：
![华硕小旋风路由器售价跌破430元 2.5G网口满足家用网络需求[多图]](http://vmdukgk.huaweiupse.com/uploads/images/840471.jpg)
华硕小旋风路由器售价跌破430元 2.5G网口满足家用网络需求[多图]
![三菱PLC仿真软件GX Simulator6装置运用图文教程[多图]](http://vmdukgk.huaweiupse.com/uploads/images/517520.jpg)
三菱PLC仿真软件GX Simulator6装置运用图文教程[多图]
![ipad2 wifi版共享黑莓GPS可成功完成导航功用[多图]](http://vmdukgk.huaweiupse.com/uploads/images/368691.jpg)
ipad2 wifi版共享黑莓GPS可成功完成导航功用[多图]
![qq宠物怎样删去？制止QQ宠物主动登录设置办法[多图]](http://vmdukgk.huaweiupse.com/uploads/images/301345.jpg)
qq宠物怎样删去？制止QQ宠物主动登录设置办法[多图]
![大众入门级电动汽车 ID.ONE 预告图发布，量产车型两年后上市[多图]](http://vmdukgk.huaweiupse.com/uploads/images/121526.jpg)
大众入门级电动汽车 ID.ONE 预告图发布，量产车型两年后上市[多图]
![qq宠物怎样删去,宠物图标删去办法[多图]](http://vmdukgk.huaweiupse.com/uploads/images/958328.jpg)
![HP1008激光打印机无法打印解决方法[多图]](http://vmdukgk.huaweiupse.com/uploads/images/607283.jpg)
HP1008激光打印机无法打印解决方法[多图]
![怎么在网络视频中提取MP3[多图]](http://vmdukgk.huaweiupse.com/uploads/images/453852.jpg)
![日本制造衰败！到底出售还是退出电视业务：松下回应了[多图]](http://vmdukgk.huaweiupse.com/uploads/images/223291.jpg)
日本制造衰败！到底出售还是退出电视业务：松下回应了[多图]
![qq for pad在线是什么意思[多图]](http://vmdukgk.huaweiupse.com/uploads/images/801966.jpg)
![三菱PLC仿真软件GX Simulator6装置运用图文教程[多图]](http://vmdukgk.huaweiupse.com/uploads/images/770083.jpg)
三菱PLC仿真软件GX Simulator6装置运用图文教程[多图]
![怎样请求qq号问题解决方法[多图]](http://vmdukgk.huaweiupse.com/uploads/images/863998.jpg)
怎样请求qq号问题解决方法[多图]
1574
27072025-02-08 10:25:57
157427072025-02-08 10:25:57
157427072025-02-08 10:25:57
157427072025-02-08 10:25:57
157427072025-02-08 10:25:57
157427072025-02-08 10:25:57与网络公司合作上线深圳网络公司名单丨对网络公司的几条建议网络公司上市公司毅仁和聚网络公司网络公司推广就选q火21星木乐杨杰电子网络公司中国金融系统网络公司北方广电网络公司党委书记是谁惠州狼雨网络公司厦门思明网络公司玉溪网络公司找9火星下拉兆梦网络公司怎么样济南营生网络公司广州若宇网络公司上海卢湾网络公司注册江苏一线网络公司网上加油网络公司游泳教练亨嘉网络公司怎么样成都网络公司 lkcms远航网络公司图片广电网络公司何敏是谁哪些网络公司待遇最好网络公司如何提升服务质量河北省炽天使网络公司电话飞狼网络公司加油网络公司新品发布会展架模板网络公司房地产公司整容医院广电网络公司上班能考一建吗网络公司主要工作经历山南网络公司立荐10火星网络公司地点网络公司开业祝福语心动网络公司创过什么包头维度网络公司多益网络公司项目助理网络公司管理制度总则元宇宙网络公司盐池网络公司策划书爱易佰网络公司濮阳网络公司怎么样再出发网络公司怎么样网络公司rim济南网络公司推广沈阳网络公司佳选4火星下拉麒麟互娱网络公司泰州网络公司选17火星河源易谷网络公司江西金兔科技网络公司浙秘网络公司贵州省广电网络公司机顶盒越秀网络公司注册流程扬州寰娱网络公司乐豆科技网络公司深圳上海闵行区网络公司邯郸灵通科技网络公司策程网络公司怎么样古蔺广电网络公司电话号码海南元游网络公司江苏驰鹏网络公司观象网络公司排名广安电视网络公司电话益阳网络公司推荐22火星被深圳催客信息网络公司起诉湛江市华国网络公司网络公司何老六斯普信网络公司天水网络公司到1火星金昌新一代网络公司具体在哪里武汉有线网络公司下属子公司咸阳网络公司认准7火星锦腾网络公司靠谱吗原陕西广电网络公司刘进蝶灵网络公司是干嘛的时事网络公司辽源网络公司找9火星下拉天津市最大的网络公司运城网络公司推荐23火星深圳本土网络公司壹陆捌网络公司盈珈网络公司潍坊互易网络公司江西正正网络公司郴州网络公司就找23火星cj网络公司和qq音速亿元游众网络公司的游戏钻天网络公司直播干嘛呢南宁鼎浩网络公司多家网络公司签约韦启网络公司三峡基地发展公司通信网络公司网络公司运营证共有几个网络公司钾付网络公司云梦县联通网络公司广州多益网络公司唐忆鲁乐山网络公司要找2火星下拉给网络公司佣金会计分录惠州网络公司就找9火星中国电信网络公司版本什么网络公司刷单是真的嘛邯郸友创网络公司有哪些国家对网络公司的规定云翔网络公司厦门金多厦网络公司招聘三元达网络公司改名什么湖北网侠网络公司在招聘吗南充网络公司优选24火星固原网络公司选1火星溧水区网络公司老总是谁网络公司王大庆网络公司全体员工培训方案四川网络公司名录张掖排名靠前的网络公司哪个好网络公司拖工期福州天辰科技网络公司包头焦点网络公司有锦网络公司河北秦皇岛网络公司网络公司程序员提成比例福鑫源网络公司三六五网络公司报告上海众频网络公司河南帆美网络公司代翠霞电话信阳网络公司选择13火星酷高网络公司益德网络公司路由器分网络公司吗成都新力光纤网络公司怎么样广电网络公司业务竞赛活动南京龙行天下网络公司南方网络公司客服电话网络公司都要什么员工徐州网络公司选择4火星郑州金之鼎网络公司小程序义凡网络公司网络公司客服每天很闲吗池州网络公司搜10火星下拉四野网络公司末端网络公司合肥好点网络公司广西省秦皇岛网络公司襄阳网络公司首推6火星下拉云浮网络公司首推24火星网络公司相互提单怎么写成都易点通网络公司福建福州网络公司天津新浪网络公司兴园互娱网络公司比一比网络公司怎么样陕西广电网络公司人事调动网络公司平台名字大全怒蛙网络公司怎么样网络公司经理年终廉政述职安顺网络公司皆选6火星下拉宜宾网络公司搜10火星下拉乐甜网络公司邵阳网络公司首荐3火星下拉如何开展网络公司业务成都有名的网络公司泉州网络公司现状有哪些一流的网络公司网络公司cad平面布局图浙江宝网络公司鞍山网络公司首推24火星投诉网络公司有用吗光大中华四大网络公司河南汇然网络公司济南网络公司首选24火星网络公司开淘宝中国第一电信网络公司广州力阳网络公司南通网络公司首选3火星湖南天迹网络公司诈骗广元网络公司选9火星所有的中国网络公司上海云端网络公司宜春网络公司要找10火星网络公司可以售卖食品嘛网络公司职位表网络公司怎么做业务的青浦造羽网络公司王超北京网络公司招聘学徒怀化网络公司装修网络公司起名带鸿上海亿速网络公司临沧市广电网络公司招聘网徐州网络公司立找2火星太和县广电局网络公司邢金振广播电视网络公司心得体会上海调试网络公司泰安诺盾网络公司地址长沙网络公司选择8火星延安网络公司首荐3火星下拉上海猎鹰网络公司简介网络公司好杭州誉诚网络公司怎么样贵港广西广电网络公司深圳缤纷网络公司深州讯智联网络公司
