首页 » 技术SOS » 嵌入式系统 » 操作系统 » 模型不收敛是怎么回事?

模型不收敛是怎么回事?

菜鸟
2022-09-07 10:27:25

    


模型不收敛是怎么回事?



分享
关键词: 人工智能, 深度学习  
菜鸟
2022-09-07 11:36:04
1楼

1、反向传播链断裂


即其中有部分的变量可能被转换为 numpy 数组,虽然仍然能够参与计算,但却失去了梯度传播的能力,导致无法向后面的变量传播梯度


2、学习率设置不合理


如果学习率设置得太大,则容易造成 loss 变成 nan,导致模型不收敛,设置得太小,则会导致模型学习得很慢


3、神经网络层参数没有进行好的参数初始化


因为参数初始化会影响到模型的训练速度


专家
2022-09-13 21:07:55
2楼

了解一下

专家
2022-09-16 22:52:26
3楼

专家
2023-07-30 21:50:47
4楼

设置不合理吧

专家
2023-08-12 10:08:05
5楼

越看越不懂的问题