9-2 逻辑回归的损失函数

问题：对于给定的样本数据集X,y，我们如何找到参数theta，使得用这样的方式可以最大程度获得样本数据集X对应的分类输出y？

cost = { 如果y = 1，p越小，cost越大 如果y = 0，p越大，cost越大 }

对应的数学公式与几何图像如下：

再把以上函数合并成一个函数：

cost = -y*log(p) - (1-y)*log(1-p)

根据所有样本得到的损失函数如下：

找到一组theta，使得损失函数J(theta)最小。 这个损失函数没有正规方程解，只能使用梯度下降法求解。 这个损失函数是一个凸函数，只有一个最优解。