原理 在分类任务中,我们通常使用交叉熵作为损失函数,首先给出交叉熵的计算公式: 二分类中: L 1 N ∑ i L i 1 N ∑ i − [ y i l o g ( p i ) ( 1 − y i ) ⋅ l o g ( 1 − p i ) ] \mathcal{L}\frac1{N}\sum_{i}L_i\frac1{N…
使用Pytorch框架进行深度学习任务,特别是分类任务时,经常会用到如下: import torch.nn as nn criterion = nn.CrossEntropyLoss().cuda() loss = criterion(output, target) 即使用torch.nn.CrossEntropyLoss()作为损失函数。 那nn.CrossEntropyLoss()内部到底是啥?? nn.C…
分类问题中,交叉熵函数是比较常用也是比较基础的损失函数。
基本推导过程
提到交叉熵,脑子里就会出现这个公式: L = − [ y ∗ l o g y ^ + ( 1 − y ) ∗ l o g ( 1 − y ^ ) ] L=-[y*log\hat{y}+(1-y)*log(1-\hat{y})] L=−[y∗logy^+(1−y)∗log(1−y^)] 然后,脑…