loss, 损失函数

  • 交叉熵损失函数

    二分类: $$tlogy_i + (1-t)log(1-y_i)$$

    多分类: $$-\sum_{i=1}^Clog(y_i)$$

  • focal loss

    focal loss由两部分组成,一部分解决类别不平衡,如下公式,pt是分类正确的概率,$\alpha_t$是一个可以设置的参数,当正类很多的时候,即$p_t$接近1的值很多,CE几乎由正类样本组成,这时把$\alpha_t$设置成当样本为正类是0-0.5之间,这样削减容易样本的loss值

    $$
    CE(p_t)=-\alpha_tlog(p_t)
    $$

    另一部分解决难样本问题,通过设置$\lambda$,控制容易样本(p接近1)与难样本(p远离1)的的loss权重,让容易分的样本loss值低

$$
FL(p_t)=-(1-p_t)^{\lambda}log(p_t)
$$

​ focal loss通过综合上面两个特点,既控制样本不均衡的损失,也控制难分样本的损失
$$
FL(p_t) = -\alpha(1-p_t)^{\lambda}log(p_t)
$$