tensorflow 查看梯度方式
作者:zyr523
今天小编就为大家分享一篇tensorflow 查看梯度方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
1. 为什么要查看梯度
对于初学者来说网络经常不收敛,loss很奇怪(就是不收敛),所以怀疑是反向传播中梯度的问题
(1)求导之后的数(的绝对值)越来越小(趋近于0),这就是梯度消失
(2)求导之后的数(的绝对值)越来越大(特别大,发散),这就是梯度爆炸
所以说呢,当loss不正常时,可以看看梯度是否处于爆炸,或者是消失了,梯度爆炸的话,网络中的W也会很大,人工控制一下(初始化的时候弄小点等等肯定还有其它方法,只是我不知道,知道的大神也可以稍微告诉我一下~~),要是梯度消失,可以试着用用resnet,densenet之类的
2. tensorflow中如何查看梯度
tf.gradients(y,x)这里的就是y对于x的导数(dy/dx),x和y一定要有关联哦~
直接tf.gradients(y_, weight1)就可以了~
以上这篇tensorflow 查看梯度方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。