#alignment #dpo #must-read #post-training #stanford 从 PPO 的 KL 正则最优解反解 reward。读 §4 + Appendix A.1，必须自己纸上推一遍