m0_62322758: 请问，倒立摆的动作空间为一维，log_probs = torch.log(self.actor(states).gather(1, actions))中actions的值是恒定不变的，那么这个新旧策略的比率应该怎么表示，是用动作数值大小的比值吗

cxzxz2001: 写得真不错,很到位,mark以后学习.但是好像没有讨论中断和异常

好家伙VCC: 喜欢博主的文章，我当时是一个小白，一步一步踩坑过来，我后面回顾学习路线，做了PID-控制-遥控-避障-跟随循迹的项目，大家可以一起学习交流一下:这是文章:https://blog.csdn.net/qq_46187594/article/details/138110155?spm=1001.2014.3001.5502

云端FFF: 感谢支持

花花order: 一下子理清最优化这门课，太感谢了