神经网络-Logistic回归


分类算法,使 $0 < h_\theta(x) < 1$

Sigmoid function

$$h_\theta(x)=g(\theta^Tx)$$
$$g(z)=\frac{1}{1+e^{-z}}$$

Sigmoid

也可以在$h_\theta(x)$中添加多项式回归来训练复杂情况

代价函数

$$J(\theta)=\frac{1}{m}\sum_{i=1}^m cost(h_\theta(x^{(i)}),y^{(i)})$$
$$cost(h_\theta(x),y)=\frac{1}{2}(h_\theta(x)-y)^2$$

含义是出错的代价,比如在分类算法中:
$$cost(h_\theta(x^{(i)},y^{(i)}))=-\log(h_\theta(x)) \ if \ y=1$$
$$cost(h_\theta(x^{(i)},y^{(i)}))=-\log(1-h_\theta(x)) \ if \ y=0$$

当告诉对方绝对不可能出错而出错了的时候,代价是无穷大


文章作者: 钱不寒
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 钱不寒 !
  目录