11.1 性能度量

[success] 这一节的思想类似于《高效能人士的七个习惯》中的“以终为始”。 首先要知道的自己的目标是什么，才能知道努力的方向对不对。 （1）确定使用什么性能度量 （2）确定这个性能度量的期望

确定目标，即使用什么误差度量，是必要的第一步，因为误差度量将指导接下来的所有工作。 同时我们也应该了解大概能得到什么级别的目标性能。

值得注意的是对于大多数应用而言，不可能实现绝对零误差。 即使你有无限的训练数据，并且恢复了真正的概率分布，贝叶斯误差仍定义了能达到的最小错误率。 这是因为输入特征可能无法包含输出变量的完整信息，或是因为系统可能本质上是随机的。 当然我们还会受限于有限的训练数据。

训练数据的数量会因为各种原因受到限制。 当目标是打造现实世界中最好的产品或服务时，我们通常需要收集更多的数据，但必须确定进一步减少误差的价值，并与收集更多数据的成本做权衡。 数据收集会耗费时间、金钱，或带来人体痛苦（例如，收集人体医疗测试数据）。 科研中，目标通常是在某个确定基准下探讨哪个算法更好，一般会固定训练集，不允许收集更多的数据。

如何确定合理的性能期望？ 在学术界，通常我们可以根据先前公布的基准结果来估计预期错误率。 在现实世界中，一个应用的错误率有必要是安全的、具有成本效益的或吸引消费者的。 一旦你确定了想要达到的错误率，那么你的设计将由如何达到这个错误率来指导。

除了需要考虑性能度量之外，另一个需要考虑的是度量的选择。 我们有几种不同的性能度量，可以用来度量一个含有机器学习组件的完整应用的有效性。 这些性能度量通常不同于训练模型的代价函数。 如\sec?所述，我们通常会度量一个系统的准确率，或等价地，错误率。

然而，许多应用需要更高级的度量。

有时，一种错误可能会比另一种错误更严重。 例如，垃圾邮件检测系统会有两种错误：将正常邮件错误地归为垃圾邮件，将垃圾邮件错误地归为正常邮件。 阻止正常消息比允许可疑消息通过糟糕得多。 我们希望度量某种形式的总代价，其中拦截正常邮件比允许垃圾邮件通过的代价更高，而不是度量垃圾邮件分类的错误率。

有时，我们需要训练检测某些罕见事件的二元分类器。 例如，我们可能会为一种罕见疾病设计医疗测试。 假设每一百万人中只有一人患病。 我们只需要让分类器一直报告没有患者，就能轻易地在检测任务上实现$99.9999\%$的正确率。 显然，正确率很难描述这种系统的性能。 解决这个问题的方法是度量精度和召回率。 精度是模型报告的检测是正确的比率，而召回率则是真实事件被检测到的比率。 检测器永远报告没有患者，会得到一个完美的精度，但召回率为零。 而报告每个人都是患者的检测器会得到一个完美的召回率，但是精度会等于人群中患有该病的比例（在我们的例子是$0.0001\%$，每一百万人只有一人患病）。 当使用精度和召回率时，我们通常会画PR曲线，$y$轴表示精度，$x$轴表示召回率。 如果检测到的事件发生了，那么分类器会返回一个较高的得分。 例如，我们将前馈网络设计为检测一种疾病，估计一个医疗结果由特征$x$表示的人患病的概率为$\hat{y} = P(y=1\mid x)$。 每当这个得分超过某个阈值时，我们报告检测结果。 通过调整阈值，我们能权衡精度和召回率。 在很多情况下，我们希望用一个数而不是曲线来概括分类器的性能。 要做到这一点，我们可以将精度 $p$和召回率 $r$转换为F分数 \begin{aligned} F = \frac{2pr}{p+r}. \end{aligned} 另一种方法是报告\,PR曲线下方的总面积。

在一些应用中，机器学习系统可能会拒绝做出判断。 如果机器学习算法能够估计所作判断的置信度，这将会非常有用，特别是在错误判断会导致严重危害，而人工操作员能够偶尔接管的情况下。 街景转录系统可以作为这种情况的一个示例。 这个任务是识别照片上的地址号码，将照片拍摄地点对应到地图上的地址。%?? 翻译的很有问题 如果地图是不精确的，那么地图的价值会严重下降。 因此只在转录正确的情况下添加地址十分重要。 如果机器学习系统认为它不太能像人一样正确地转录，那么最好办法当然是让人来转录照片。 当然，只有当机器学习系统能够大量降低需要人工操作处理的图片时，它才是有用的。 在这种情况下，一种自然的性能度量是覆盖。 覆盖是机器学习系统能够产生响应的样本所占的比率。 我们权衡覆盖和精度。 一个系统可以通过拒绝处理任意样本的方式来达到$100\%$的精度，但是覆盖降到了$0\%$。 对于街景任务，该项目的目标是达到人类级别的转录精度，同时保持$95\%$的覆盖。 在这项任务中，人类级别的性能是$98\%$的精度。

还有许多其他的性能度量。 例如，我们可以度量点击率、收集用户满意度调查等等。 许多专业的应用领域也有特定的标准。

最重要的是首先要确定改进哪个性能度量，然后专心提高性能度量。 如果没有明确的目标，那么我们很难判断机器学习系统上的改动是否有所改进。