分类问题中,交叉熵函数是比较常用也是比较基础的损失函数。
基本推导过程
提到交叉熵,脑子里就会出现这个公式: L = − [ y ∗ l o g y ^ + ( 1 − y ) ∗ l o g ( 1 − y ^ ) ] L=-[y*log\hat{y}+(1-y)*log(1-\hat{y})] L=−[y∗logy^+(1−y)∗log(1−y^)] 然后,脑…
本文是Rami Khushaba视频《Measuring Signal Complexity/Regularity》的笔记,内容略有补充,推荐看视频。 熵是一个重要的概念,它帮助量化系统的无序或混乱程度。通过了解熵,可以深入认识诸如脑电图(EEG)、心…