Frequentist VS Bayesian
在机器学习领域分为两个流派，分别是贝叶斯派和频率派。两种学派所基于的理论背景不同，应用场景也不尽相同。在频率派和贝叶斯派两种理论派别中，似然函数p(D|w)是问题的中心所在，但是对于其被运用的方式方面有着本质的区别。
Frequentist
在频率派中，W被认为是一个固定的数值，其数值的计算是通过对于训练集的学习和估计。这个思想即神经网络中常用的：建立模型，选择损失函数，优化目标函数，将损失降到可以度量范围内的最小值，从而得到对w参数的估计。而在贝叶斯派看来，只有通过观察w的概率分布，才能表示参数的不确定度，即对于w的数值是不确定的。在频率派中一个被广泛使用的用来估计的工具是：最大化似然函数。
Bayesian
贝叶斯派中的一个优势在于对于先验知识的包含是逐步上升的。比如，对一枚质地均匀的硬币进行三次投掷，结果都是反面，则在贝叶斯派的最大化似然函数看来，反面的概率是1. 而对于贝叶斯派来说，由于具有先验知识（质地均匀，先验概率为1/2），其运算结果将不会像频率派一样极端。
