逻辑回归成本函数求导过程

Logstic Regression的Cost Function的定义是:

其中,

不对公式进行推导,始终感觉是飘起来的,不踏实,所以还是老老实实推导一遍.

Cost Function的定义看上去非常复杂,但是别怕,都是纸老虎,不就是复合函数求导嘛!就像一首歌唱的:”我愿意一层一层剥开你的心”.

所以我们先温习一下我们后面需要用到的基本函数的导数.

序号 原函数 导数 解释
$y = C$ $y’ = 0$ 常数的导数是0
$y = x^n$ $y’ = nx^{n-1}$ 幂的导数
$y = e^x$ $y’ = e^x$ 自然指数的导数是自身
$y = log(x)$ $y’ = \frac{1}{x}$ 自然对数的导数

在推导的过程中,需要强调的两点:

  • 求导是对$\pmb{\theta}$进行求导,因此把$x$当做常数
  • 公式$J(\pmb{\theta})$中的上标$^{(i)}$指的是单个样本
  • 公式$J(\pmb{\theta})$计算的是所有样本的Cost的均值

然后,开始正式推导.首先,我们可以常数系数 $\frac{1}{m}$ 提出来,再将求和符号 $\sum_{i=i}^m$ 提出来(求和符号只是加法运算,当然可以提出来).然后我们将中括号中的内容令为 $f$ ,则(省略上标$^{(i)}$):

公式1. 单个样本的Cost

因此我们现在的任务是对函数 $f(\pmb{\theta})$ 进行求导.根据基本导数④,得到:

公式2. 单个样本的Cost的导数

现在再求 $h_{\pmb{\theta}}(\textbf{x})$ 的导数:

公式3. $h_{\pmb{\theta}}(\textbf{x})$的导数

然后,我们根据上面的导数可以对函数$h_{\pmb{\theta}}(\textbf{x})$的第 $j$ 个特征的参数 $\theta_j$ 求偏导数:

公式4. $h_{\pmb{\theta}}(\textbf{x})$对$\theta _j$偏导数

然后,我们将公式4带入到公式2中,求出函数$f(\pmb{\theta})$的第 $j$ 个特征的参数 $\theta_j$ 求偏导数:

公式4. 单个样本对$\theta _j$偏导数

最后,我们将最开始提取出来的常数系数和求和符号补上:

大功告成!