第九章：逻辑回归

什么是逻辑回归

解决分类问题。 将样本的特征和样本发生的概率联系起来，概率是一个连续的数，因此可以当作回归问题来处理。

对于线性回归，y = f(x) 对于逻辑回归，p = f(x)，当p>=0.5,y=1，当p<0.5,y=0

逻辑回归即可以看作是回归算法，也可以看作是分类算法。 通常作为分类算法用，只可以解决二分类问题。

在线性回归中， y的值域为(-inifinity, inifinity)，但概率值的值域[0, 1] 解决方法：

Sigmoid函数

import numpy as np
import matplotlib.pyplot as plt

def sigmoid(t):
    return 1 / (1 + np.exp(-t))

x = np.linspace(-10, 10, 500)
y = sigmoid(x)

plt.plot(x, y)
plt.show()

曲线的性质： 左端趋近于但达不到0，右端趋近于但达不到1，即值域(0, 1) t>0时，p>0.5。t<0时，p<0.5

问题：对于给定的样本数据集X,y，我们如何找到参数theta，使得用这样的方式可以最大程度获得样本数据集X对应的分类输出y？