AI & Machine Learning
Reward Design
为 RL 训练设计奖励函数或排查奖励黑客时使用——决定奖励来自规则、人类偏好还是模型评判，结果奖励还是过程奖励，标量、向量还是生成式诊断，以及如何用路径约束与 RLVP 惩罚违规动作；也用于多轮 Agent 的信用分配、隐藏测试与早停判定设计。触发词：奖励设计、reward hacking、reward seeking、RLVR、RLHF、GRM、ORM、PRM、RLVP、信用分配、隐藏测试、过程奖励、奖励塑形、组内差异。
- Publisher / source
- bojieli/ai-agent-book (found on GitHub top repositories)
- Upstream record
- bojieli/ai-agent-book
- Version
- Version 1
- Published
- Publication review
- Approved for publication
- Content fingerprint
a8abe578598e80119b49189e496bae27d3bbcf91e7fe634c9ec57b107d8fa874