如何在Tensorflow 2.0中通过Xavier规则进行权重初始化？
发布于2019-12-26 20:45 阅读(14296) 评论(0) 点赞(10) 收藏(4)
TF 2.0碰巧摆脱了contrib图书馆。因此，所有喜欢tf.contrib.conv2d或tf.contrib.layers.variance_scaling_initializer不喜欢的东西都消失了。也就是说，您认为在不使用Keras的情况下（或通过一些numpy hack进行初始化）在TF2.0中进行Xavier初始化的最佳方法是什么？
即，我坚持tf.nn.conv2d并为此功能提供权重的人：
filters = tf.Variable(tf.zeros([3, 3, 32, 64]))
??? # something should happen hear, i guess
net = tf.nn.conv2d(input, filters)注意：万一您使用的是TF的第一个版本，则可以使用：
filters = tf.get_variable("w", shape=[3,3, 32, 64],
initializer=tf.contrib.layers.xavier_initializer())
# no tf.contrib in 2.0, no tf.get_variable in 2.0解决方案
在tensorflow 2.0中，您有一个tf.initializer包含所需的所有类似Keras的初始化程序的软件包。
Xavier初始化程序与Glorot Uniform初始化程序相同。因此，要创建一个(3,3)具有从该初始值设定项采样的值的变量，您可以：
shape = (3,3)
initializer = tf.initializers.GlorotUniform()
var = tf.Variable(initializer(shape=shape))所属网站分类: 技术文章 > 问答
作者：黑洞官方问答小能手
链接：https://www.pythonheidong.com/blog/article/187517/c13fd2c7f169ac64cd99/
来源：python黑洞网
任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任
昵称:
评论内容：(最多支持255个字符)
---无人问津也好，技不如人也罢，你都要试着安静下来，去做自己该做的事，而不是让内心的烦躁、焦虑，坏掉你本来就不多的热情和定力