这项由南边科技大学、香港科技大学、香港科技大学（广州）、香港理工大学以及LIGHTSPEED结合开展的接洽，以预印本式样发布于2026年6月，论文编号为arXiv:2606.02388，有兴趣兴趣真切了解的读者可通过该编号查询完整论文。

当咱们评述AI智能体的时候，脑海中涌现的频频是那种大略自主操作网页、在捏造房间里完成任务、或者帮你搜索信息的"数字助手"。老练这类助手的主流方式，叫作念强化学习——说白了，即是让AI束缚尝试，作念对了就给奖励，作念错了就扣分，迟缓学会哪些活动能拿到高分。这套逻辑听起来很像老练小狗：作念对了给零食，作念错了不给。

但是问题来了：小狗作念了某个动作之后，它会坐窝看到环境的反馈——你皱了眉头，或者应承性摸了摸它。但用强化学习老练的AI智能体，摄取到的只是"任务完成"或"任务失败"这么的最终评分。至于它每一步操作到底对寰宇形成了什么影响，它险些一无所知。这就像一个厨师只知说念临了这说念菜被评了几分，却完全不了了是哪一步下盐、哪一步翻炒出了问题。旷日持久，厨师可能偶尔作念出佳肴，但永远不会信得过相识烹调的旨趣。

接洽团队恰是从这个痛点启程，提议了一个叫作念PaW的老练框架。PaW是"Policy and World modeling co-training"的缩写，直译过来即是"战略与寰宇建模协同老练"。它的中枢想路浅近而难懂：AI智能体在老练过程中本来就会产生无数"熟悉纪录"，每一笔纪录都包含了"作念了什么动作"以及"之后环境变成了什么神志"。这些信息昔日只被用来辩论分数，而PaW把它们变成了额外的学习材料，让智能体同期学会"展望下一步会发生什么"。不需要额外的数据汇集，不需要单独树立一个模拟器，也不会在本色使用时加多任何辩论背负——过剩的学习就发生在正本的老练过程中，顺遂完成。

一、AI智能体的"只知说念戒指，不懂过程"窘境

要相识为什么PaW的出现很攻击，得先搞了了现存老练方式的局限在那里。

法式的强化学习老练，就像让一个学生反复作念模拟考题，然后只告诉他最终收货，不给任何知道。学生会渐渐摸了了哪类题型容易得分，但他对知识本人的相识可能依然残骸。在AI智能体的场景里，这种纰谬体现得更为赫然：智能体可能学会了某个"规则"——比如在特定情境下输入某个请示频频能拿高分——但它并不信得过相识这个请示会对环境产生什么影响。一朝遭受了略略生分的场景，或者某个操作产生了不可逆的后果，它就会堕入芜乱。

接洽团队把这种缺失定名为"寰宇建模能力"的枯竭。所谓寰宇建模，说穿了即是：给智能体一个面前景况和一个预备弃取的动作，它能展望出接下来环境会变成什么样。这听起来像是东说念主类的知识——你知说念盛开雪柜门，雪柜里的东西就会透露在你面前；你知说念搜索"玄色小号T恤"，网页会复返一堆关连商品。但AI智能体淌若枯竭这种预判能力，就会像一个对寰宇运转毫无办法的东说念主一样，只可靠反复试错蕴蓄素养。

为了弥补这个缺口，学术界仍是有一些探索。一类设施是单独老练一个"寰宇模子"，当作模拟器来生成作假的老练轨迹，或者在推理时辅助辩论。这类设施的代价是：你需要额外一套模子、额外一套老练历程，推理时还要多走一遍模拟设施，系统复杂度大幅飞腾。另一类设施是先给模子防护寰宇建模能力，再开动强化学习老练，特别于分两个阶段完成。这相通意味着更多的时候和资源进入，况且两阶段的联接本人即是个重荷事。

PaW的想路则完全不同。接洽团队发现，强化学习的老练过程中其实早已藏着无数的寰宇建模素材，只是没东说念主用过它们。

二、被疏远的"免费讲义"：老练轨迹里的矿藏

每一次智能体实施老练任务，都会留住一段"轨迹纪录"，花式大约如下：面前景况 → 实施了什么动作 → 获得了什么奖励 → 环境变成了什么新景况。传统的强化学习只使用前三项——景况、动作、奖励——来更新智能体的战略。而阿谁"环境变成了什么新景况"，也即是动作之后的不雅测戒指，一直被白白丢弃。

接洽团队的中枢知悉在于：每一条轨迹中的"动作→新不雅测"配对，自然即是一份寰宇建模的老练样本。只须让智能体学会笔据面前景况和动作来展望下一步的不雅测，它就在熟悉相识环境动态。而这份熟悉材料，每一轮老练都在免费产生，完全不需要额外汇集。

具体到时刻扫尾，PaW的作念法是：在原有的强化学习亏损函数（也即是荧惑智能体弃取高分动作的指标）除外，添加一个辅助的寰宇建模亏损函数，条目团结个模子还要学会展望下一步的不雅测文本。两个指标共用团结套模子参数，在团结个老练设施里同期优化。由于话语模子自然的"因简直贵力"机制——后头的笔墨不成影响前边的展望——寰宇建模部分的监督信号不会干涉战略决策部分的学习，两者曲直分明。而在本色使用时，模子只需要正常生成动作，完全不需要额外的模拟设施，莫得任何推理支出。

这就好比一个学厨的学徒，既在熟悉"下一步该作念什么操作"，又在熟悉"这个操作之后锅里会发生什么变化"，两件事同期学，用的是团结套熟悉材料，用时不变，却多学了一门作业。

不外，正如真实的老练场景里总有各式干涉身分，这份"免费讲义"也远非完满干净。接洽团队发现了三个必须措置的本色问题，并为此辨认想象了对应的措置决策。

三、三说念工序，让"免费讲义"真无意用

第一个问题是：不是通盘的动作都值得学。

在某些任务里，智能体会反复实施团结类高度细则的操作，比如在捏造房间里一遍又一随处走向指标物体。这类动作的戒指险些是不错完全猜想的，对学习环境动态莫得太大匡助，反而会让模子把太多元气心灵花在重迭的、低信息量的样本上。

PaW的第一个想象是"基于动作熵的数据筛选"。所谓"动作熵"，不错相识为智能体在弃取这个动作时有多纠结——淌若它险些笃定地要选某个动作，熵就低；淌若它对好几个选项都拿不准，熵就高。熵高的动作诠释这个决策点更要津、更复杂，其对应的环境反馈也更值得学习。PaW会从每轮老练产生的通盘轨迹里，只挑出熵最高的那一部分调治样本来作念寰宇建模老练，默许比例是保留75%的高熵样本，丢弃低熵的重迭操作。这么既从简了辩论资源，又保证了寰宇建面孔本的质地。

第二个问题是：不雅测文本里常常混合着"噪声"。

论文中举了两个活泼的例子。在捏造家务任务ALFWorld里，相通是"盛开雪柜1"这个动作，在不同的环境实例里，盛开之后看到的东西完全不同——一次内部有杯子、番茄和酒瓶，另一次内部是碗、鸡蛋和马克杯。这种立地性意味着不雅测本人就不是完全可展望的。而在网购任务WebShop里，搜索戒指里会混合无数商品编号（比如"B09QQP3356"这么的ASIN码）和品牌称号，这些字符完全立地，根柢无法从语义上展望。

淌若用法式的交叉熵亏损来老练寰宇建模，模子会被动消耗无数元气心灵去"记取"这些立地字符，因为交叉熵亏损对低概率展望的处分红倍放大，一个险些不可能猜中的立地编号会产生极大的梯度信号，把模子的优化标的带歪。论文中的分析炫夸，在WebShop的场景下，交叉熵亏损中高达32%的梯度份额来自那些被界说为"噪声"的词元，而MAE亏损唯有14%。

PaW的第二个想象是用"截断MAE亏损"替代法式交叉熵。MAE亏损（均实足舛讹亏损）对低概率展望的处分是线性的而非指数级的，自然对难以展望的词元更宽厚。在此基础上，接洽团队还加入了一个置信度截断机制：淌若模子对某个词元的展望概率仍是最初了阈值（默许0.2），就以为这个词元仍是学得满盈好了，成功从亏损辩论中摈斥，不再施加梯度压力。这么一来，模子会专注于那些"还没学会但值得学"的不雅测词元，既不会在立地噪声上浪忙绿气，也不会反复免强我方去"过度牵挂"仍是掌抓的内容。

第三个问题是：寰宇建模的辅助老练和强化学习的主老练之间，力量需要动态均衡。

淌若给寰宇建模指标建树一个固定的、较大的权重，它可能会压过寥落的奖励信号，让强化学习失去主导。但淌若权重太小，辅助老练又险些莫得用率。更要津的是，不同的任务组在不同阶段对寰宇建模的需求是不同的——那些奖励很差、任务险些全部失败的老练组，正处于最需要相识环境动态的阶段；而那些仍是大部分到手的老练组，只需要链接精化战略就好。

PaW的第三个想象是"奖励自安妥亏损均衡"。每一组老练轨迹都有一个平均申报，接洽团队笔据这个平均申报动态辩论寰宇建模的权重：平均申报越低，权重越大；平均申报越高（接近满分），权重越小，让强化学习指标当然占主导。这个机制就像一位智谋的老练，对基础差的队员多花时候教养战术旨趣，对仍是打得很好的队员则让他们更多地在实战中查验手段，而不是反复良善论。

三个想象组合在一齐，形成了完整的PaW框架，金花棋牌娱乐app官方版并被编写成一个纯粹的老练算法：每轮老练，先收罗轨迹，然后筛选高熵调治样本，用截断MAE辩论寰宇建模亏损，用奖励自安妥统统调整权重，临了和强化学习亏损合并，同期更新模子参数。通盘历程不需要额外的模子推理，也不需要额外的数据收罗，比拟基础强化学习只加多了约2.1%的老练时候和2.4%的GPU内存占用。

四、三个战场，PaW的实战收货单

接洽团队在三类不同的任务上评测了PaW的服从，使用的基础模子涵盖了不同边界和系列，强化学习算法也不啻一种。

第一个战场是捏造家务任务ALFWorld。这个环境里，智能体需要在捏造房间中完成六类家务，包括把某件物品捡起放到指定方位、在灯下放哨物品、清洗物品、加热物品、冷却物品，以及一次性捡起两件物品。任务最长可达50步，每一步的操作都会对环境景况产生影响，是典型的长序列决策任务。

在1.5B参数边界的Qwen2.5模子上，搭配GRPO算法，PaW把合座到手率从70.0%耕作到了77.9%，耕作了7.9个百分点。搭配更先进的GIGPO算法，合座到手率从87.6%耕作到90.4%，耕作2.8个百分点。在7B参数边界的更大模子上，GRPO搭配PaW从77.6%耕作到80.6%，GIGPO搭配PaW从90.8%耕作到91.8%。耕作幅度随模子能力增强而有所收窄，这是合理的——越横蛮的模子本人仍是更接近天花板，耕作空间当然更小。

第二个战场是网购任务WebShop。这个环境里，智能体需要在一个包含11万多件商品的捏造电商平台上，笔据用户的购物需求搜索并购买合适的商品，任务最长15步。这个场景的特殊性在于商品页面包含无数立地文本，恰是前边提到的"噪声不雅测"最严重的方位，亦然截断MAE亏损表现作用的中枢场景。

戒指炫夸，PaW在WebShop上带来了更大的耕作。1.5B模子上，GRPO搭配PaW的到手率从60.6%跃升至68.6%，耕作8.0个百分点；GIGPO搭配PaW从66.2%耕作至75.3%，耕作9.1个百分点。7B模子上，两种算法辨认耕作4.0和2.9个百分点。

第三个战场是多轮搜索问答任务。这类任务条目智能体通过多轮调用搜索引擎往返复问题，秘籍了七个不同的问答数据集，包括单跳问答（一次搜索能回复的）和多跳问答（需要屡次搜索、综合推理才能回复的）。在3B和7B边界的Qwen2.5模子上，PaW对GRPO和GIGPO都带来了空闲的耕作，平平分耕作幅度在0.9到3.0个百分点之间。

除了这三个主要战场，接洽团队还挑升测试了PaW在不同强化学习算法和不同模子家眷上的泛化能力。PPO算法搭配PaW，WebShop到手率从59.1%耕作到65.2%，耕作6.1个百分点；RLOO算法搭配PaW从56.7%耕作到61.2%，耕作4.5个百分点。在模子家眷方面，Qwen3-1.7B搭配PaW耕作8.8个百分点，更大的Qwen2.5-14B耕作2.4个百分点。这些数据标明PaW不依赖于某种特定算法或模子架构，而是一种纷乱适用的增强设施。

五、当平日强化学习透澈失效，PaW依然能救场

接洽中最引东说念主存眷的一个发现，是PaW在"平日强化学习根柢学不动"的顶点场景下的发扬。

用Llama3.2-3B模子在WebShop上作念GRPO老练，戒指老练了150步，模子的到手率历久在0隔邻踌躇——险些通盘的任务都失败了，奖励信号稀奇寥落，特别于学生作念了150说念题，每次都是零分，完全不知说念我方到底那里出了错。在这种情况下，强化学习失去了不错学习的信号，老练堕入停滞。

加入PaW之后，情况发生了戏剧性的升沉。尽管任务奖励依然惊奇，寰宇建模的亏损却提供了密集的学习信号——模子每一步都在尝试展望"实施这个动作之后，购物网站会炫夸什么"，这个熟悉不依赖任务是否到手，只须有景况-动作-新景况的三元组就能进行。通过这种方式，模子渐渐蕴蓄了对环境运转方式的相识，最终开动产生到手的购物轨迹，为强化学习提供了正向奖励信号，老练得以链接鼓舞。最终到手率从险些为零的4.0%跃升至62.2%，耕作了惊东说念主的58.2个百分点。

这个戒指揭示了PaW的一个额外价值：它不单是是对仍是在学的强化学习的惜墨如金，还不错在寥落奖励的繁重场景下饰演"引路东说念主"的脚色，匡助智能体从零开动找到学习的标的。

六、消融推行：三个想象统筹兼顾

接洽团队还作念了一系列消融推行，挑升考据PaW三个中枢想象的各自孝敬。

淌若把奖励自安妥权重去掉，改为对通盘老练组使用固定的权重1，ALFWorld到手率从77.9%着落到75.5%，WebShop从68.6%着落到67.0%。两项任务都着落了，诠释自安妥权重如实有助于均衡辅助老练和主老练之间的关系。

更大的影响来自亏损函数的弃取。淌若把截断MAE亏损换回法式的交叉熵亏损，ALFWorld到手率从77.9%骤降至68.5%，WebShop从68.6%骤降至57.2%——后者甚而比莫得PaW的基础GRPO（60.6%）还要差。这个戒指特别昭着：在有噪声不雅测的环境里，罪过的亏损函数不仅帮不上忙，反而会牵累主任务的学习。交叉熵亏损对立地噪声词元的过度处分，会把模子的优化资源引向罪过的标的，导致战略学习受损。

接洽团队还测试了熵弃取比例α和截断阈值ρ两个超参数的明锐性。戒指炫夸，在较宽的参数边界内（α从0.25到1.0，ρ从0.0到0.8），PaW都能带来比基础GRPO更好的收货，最好值辨认在α=0.75和ρ=0.2隔邻。这意味着PaW对超参数不是稀奇明锐，不需要精致调整也能职责。

说到底，PaW作念的事情不错用一句话轮廓：它发现了强化学习老练过程中被历久疏远的"边角料"，把它们变成了有价值的学习材料，匡助智能体在熟悉"作念什么"的同期顺带学会了"作念了会如何"。这种双管王人下的老练方式，不需要额外的资本，却带来了实着实在的能力耕作。

关于平日东说念主而言，这项接洽的风趣在于：将来那些帮你购物、帮你查贵寓、帮你操作电脑的AI助手，可能会因为肖似的老练方式而变得愈加智谋肃穆，不仅知说念该作念什么，还信得过相识每一步操作会带来什么后果——而这种相识，恰是让AI助手在复杂、真实的任务中不出错的要津。

虽然，接洽团队也坦诚地指出了面前框架的局限。PaW现在只学习"下一步的不雅测"，关于更长久的多步影响链条，还莫得显式建模。在某些任务里，一个动作的信得过影响可能要好几步之后才会体现，这部分能力还需要将来的职责来探索。此外，老练轨迹中可能存在无数重迭的旅途，这会使寰宇建模的学习样本产生偏差，如何引入各样性采样亦然一个值得真切的标的。感兴趣兴趣的读者不错通过arXiv:2606.02388查阅完整论文，了解通盘时刻细节。

Q&A

Q1：PaW框架是什么，和平日强化学习老练有什么不同？

A：PaW是一种战略与寰宇建模协同老练框架。平日强化学习只用"作念了什么动作、得了几许分"来更新模子，而PaW额外应用了老练过程中产生的"动作之后环境变成什么样"这一信息，让模子同期学会展望下一步的环境景况。通盘过程共用团结套老练数据，不需要额外的模子或数据汇集，推理时也莫得任何额外支出。

Q2：截断MAE亏损为什么比交叉熵亏损更安妥寰宇建模老练？

A：在网购、家务等真实环境里，不雅测文本中包含无数立地字符（如商品编号、品牌名等），根柢无法从语义上展望。法式交叉熵亏损对这类低概率展望的处分会成倍放大，导致模子把无数优化资源花在"记噪声"上，反而干涉了主任务的战略学习。截断MAE亏损对低概率词元的处分是线性的，加上置信度截断机制，只存眷"还没学会且值得学"的内容，幸免了这种干涉，推行炫夸替换亏损函数后WebShop到手率耕作最初11个百分点。

Q3：PaW在强化学习完全学不动的情况下真的有用吗？

A：有实考据据扶植。用Llama3.2-3B模子在WebShop上作念平日GRPO老练，老练150步后到手率仍接近零金花棋牌娱乐app安装2026最新版，奖励信号稀奇寥落，老练堕入停滞。加入PaW后，寰宇建模亏损提供了密集的学习信号——每一步都在展望环境变化，不依赖任务是否到手。模子借此蕴蓄了对环境的相识，渐渐产生到手轨迹，最终到手率从4.0%跃升至62.2%，耕作了58.2个百分点。