#meta #post-training #reward-model #rlhf 唯一把 RM 工程细节写清楚的公开材料。只读 §3.2.2：margin loss + 双 RM

#must-read #openai #post-training #rlhf #sft 后训练范式源头：SFT→RM→PPO 三段式。重点读 §3 全部 + Fig.2