添加Sigmoid激活函数后，Flux.jl模型始终输出1.0
添加Sigmoid激活函数后，Flux.jl模型始终输出1.0
提问于 2021-11-22 20:59:15
我最初的问题是，我希望我的模型只输出0-1，这样我就可以映射回我的分类图像标签(Flux.jl restrict variables between 0 and 1)。所以我决定添加一个sigmoid激活函数，如下所示：
σ = sigmoid
model = Chain(
resnet[1:end-2],
Dense(2048, 1000),
Dense(1000, 256),
Dense(256, 2, σ), # we get 2048 features out, and we have 2 classes
);然而，现在我的模型只输出1.0。有没有关于我为什么或者是否错误地使用激活函数的想法？
回答 1
Stack Overflow用户
发布于 2021-11-22 21:36:53
考虑对隐藏层使用激活函数，因为多个线性层(没有非线性激活函数的密集层)就等同于单个线性层。如果你使用的类别是排他性的(狗或猫，但不是两者)，它涵盖了你的所有情况(它总是狗或猫，而不是例如驼鸟)，那么概率应该加起来为1，并且softmax应该更适合于最后一个函数。softmax函数通常与crossentropy损失函数一起使用。
model = Chain(
resnet[1:end-2],
Dense(2048, 1000, σ),
Dense(1000, 256, σ),
Dense(256, 2),
softmax
);为获得更好的数值稳定性和准确性，建议将crossentropy分别替换为和logitcrossentropy (在这种情况下，softmax不是必需的)。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/70072282
复制相关文章
相似问题