Day1:监督学习-无监督学习-代价函数

监督学习

无监督学习

代价函数

代价函数衡量的是模型预测值h(θ) 与标准答案y之间的差异，所以总的代价函数J是h(θ)和y的函数，即J=f(h(θ), y)。又因为y都是训练样本中给定的，h(θ)由θ决定，所以，最终还是模型参数θ的改变导致了J的改变。对于不同的θ，对应不同的预测值h(θ)，也就对应着不同的代价函数J的取值。变化过程为：θ−−>h(θ)−−>J(θ)。θ引起了h(θ)的改变，进而改变了J(θ)的取值。

在线性回归中，最常用的是均方误差(Mean squared error)，具体形式为：

• 假设函数 Hypothesis： $$h_{\theta }(x) = \theta _{0}+\theta _{1}x$$
• 参数 Parameters: $$\theta _{0},\theta _{1}$$
• 代价函数 Cost Function： $$J(\theta _{0},\theta _{1})= \frac{1}{2m}\cdot\sum_{i=1}^{m}(h_{\theta }(x^{i})-y^{i})^{2}$$

• 目的 Goal:

  $$\texttt{minimize } J(\theta _{0},\theta _{1})$$

  得到均方误差。

  • 举个简单的例子，假设 $ \theta _{0} = 0 $：有训练样本{(0, 0), (1, 1), (2, 2), (4, 4)}，即4对训练样本，每个样本对中第1个数表示x的值，第2个数表示y的值。这几个点很明显都是y=x这条直线上的点。如下左图：