分类算法,使 $0 < h_\theta(x) < 1$
Sigmoid function
$$h_\theta(x)=g(\theta^Tx)$$
$$g(z)=\frac{1}{1+e^{-z}}$$
也可以在$h_\theta(x)$中添加多项式回归来训练复杂情况
代价函数
$$J(\theta)=\frac{1}{m}\sum_{i=1}^m cost(h_\theta(x^{(i)}),y^{(i)})$$
$$cost(h_\theta(x),y)=\frac{1}{2}(h_\theta(x)-y)^2$$
含义是出错的代价,比如在分类算法中:
$$cost(h_\theta(x^{(i)},y^{(i)}))=-\log(h_\theta(x)) \ if \ y=1$$
$$cost(h_\theta(x^{(i)},y^{(i)}))=-\log(1-h_\theta(x)) \ if \ y=0$$
当告诉对方绝对不可能出错而出错了的时候,代价是无穷大