推导出来SAC的temperature:alpha的梯度恒正，哪里出了问题？ - 深度强化学习实验室(社区)

问题求助算法问题理论推导问题
推导出来SAC的temperature:alpha的梯度恒正，哪里出了问题？

Hardlygo
RL 2
2021年10月20日
发布 #1 2021年10月20日星期三 08点19分
已编辑

$pic$
$pic2$
$pic3$
这样推导出来alpha的梯度恒正，这是怎么回事？？？？？
问题引自知乎

Hardlygo 将标题更改为「推导出来SAC的temperature:alpha的梯度恒正，哪里出了问题？」。

Hardlygo
RL 2
2021年10月20日
发布 #3 2021年10月20日星期三 09点13分

会不会因为这个导致梯度爆炸？

Greta
RL 0
2021年10月20日
发布 #4 2021年10月20日星期三 12点12分

感觉这个问题可以追溯到为什么作者设计\overline{H}为负数～这样原论文中式（11）的约束条件不是恒成立吗

说点什么吧...

推导出来SAC的temperature:alpha的梯度恒正，哪里出了问题？

Hardlygo

$pic$
$pic2$
$pic3$
这样推导出来alpha的梯度恒正，这是怎么回事？？？？？
问题引自知乎

Hardlygo

会不会因为这个导致梯度爆炸？

Greta

感觉这个问题可以追溯到为什么作者设计\overline{H}为负数～这样原论文中式（11）的约束条件不是恒成立吗

Document