深度学习模型参数初始化的方法

标签：std   sig   bsp   参数初始化   gauss   高斯   for   orm   minus   

（1）Gaussian 满足mean=0，std=1的高斯分布x∼N(mean，std2)

（2）Xavier 满足x∼U(−a,+a)x∼U(−a,+a)的均匀分布， 其中 a = sqrt(3/n)

（3）MSRA 满足x∼N(0,σ2)x∼N(0,σ2)的高斯分布，其中σ = sqrt(2/n)

（4）Uniform 满足min=0,max=1的均匀分布。x∼U(min,max)x∼U(min,max)

深度学习模型参数初始化的方法

标签：std   sig   bsp   参数初始化   gauss   高斯   for   orm   minus   

原文地址：https://www.cnblogs.com/demo-deng/p/13178994.html