MIT的电子书 “Algorithmic Aspects of Machine Learning” 《机器学习的算法层面》
people.csail.mit.edu/moitra/docs/bookexv2.pdf
“
机器学习正逐渐在我们生活的方方面面扮演决策者的角色。
然而一个令人惊讶的事实是：这些算法的实际行为并没有任何可被证明的理论保证 。当它们处理一个优化问题时，它们真的能找到最好的、或者至少是足够好的解决方案吗 ？当它们构建一个概率模型时，真的能有效地整合新的证据，并从真实的后验概率分布中进行抽样吗 ？机器学习在实践中表现得非常出色，但这并不意味着我们已经透彻地理解了它成功的原因 。
如果您上过传统的算法课程，那么您所熟悉的算法分析方式很可能是“最坏情况分析” 。比如在评估一个排序算法时，我们会看它处理最棘手的输入数据需要多少操作步骤 。这种分析方法很有用，因为它能让你清晰地说明算法的耗时，而无需关心具体处理的是哪种常见数据 。
然而，分析机器学习算法（尤其是现代算法）的挑战在于，它们要解决的很多问题，在“最坏情况”下确实是NP难解的 。无论您是想将“寻找最佳数据拟合参数”视为一个优化问题，还是想利用概率模型进行“推理”，都会遇到在某些情况下问题是NP难解的窘境 。
在本书中，我们将另辟蹊径，尝试为机器学习算法提供可靠的理论保证。我们的方法是，为现实世界的数据寻找更为贴切的数学模型 。在许多应用场景中，我们完全可以基于问题背景做出一些合理的假设。这些假设能帮助我们绕开“最坏情况”下的理论障碍，从而能够严格地分析那些在实践中行之有效的启发式算法，甚至还能启发我们设计出全新的方法，来解决机器学习领域中那些反复出现的核心难题 。”
