关于吴恩达深度学习总结(一)相关函数

文章目录

• 关于吴恩达深度学习总结(一)相关函数
• 一、cost function(成本函数)
• 二、loss function(损失函数)
• 三、sigmoid function（sigmoid函数）
• 四、y hat
• 五、参数的更新规则
• 六、w，b的导数
• 七、向量化logistic回归
• 八、激活函数
• 1.sigmoid function（sigmoid函数）
• 2.tanh 函数
• 3.ReLU函数（max(0,x)）
• 4.leaky ReLU函数（max(0.01x,x)）

一、cost function(成本函数)

衡量在全体训练样本上的表现情况
$J = \frac{1}{m} \sum_{i=1}^m \mathcal{L}(a^{(i)}, y^{(i)})\tag{6}$

$J = -\frac{1}{m}\sum_{i=1}^{m}y^{(i)}\log(a^{(i)})+(1-y^{(i)})\log(1-a^{(i)})$

二、loss function(损失函数)

衡量算法的运行情况，衡量在单个训练样本上的表现情况
$\mathcal{L}(a^{(i)}, y^{(i)}) = - y^{(i)} \log(a^{(i)}) - (1-y^{(i)} ) \log(1-a^{(i)})\tag{3}$

三、sigmoid function（sigmoid函数）

Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。
$sigmoid(x) = \frac{1}{1+e^{-x}}$

四、y hat

识别对象满足y=1的概率
$\hat{y}^{(i)} = a^{(i)} = sigmoid(z^{(i)})\tag{2}$

$z^{(i)} = w^T x^{(i)} + b \tag{1}$

五、参数的更新规则

$\theta = \theta - \alpha \text{ } d\theta$

$$

$$

alpha,对应的是学习率

六、w，b的导数

$\frac{\partial J}{\partial w} = \frac{1}{m}X(A-Y)^T\tag{7}$

$\frac{\partial J}{\partial b} = \frac{1}{m} \sum_{i=1}^m (a^{(i)}-y^{(i)})\tag{8}$

七、向量化logistic回归

$A = \sigma(w^T X + b) = (a^{(0)}, a^{(1)}, ..., a^{(m-1)}, a^{(m)})$

$J = -\frac{1}{m}\sum_{i=1}^{m}y^{(i)}\log(a^{(i)})+(1-y^{(i)})\log(1-a^{(i)})$

八、激活函数

1.sigmoid function（sigmoid函数）

$sigmoid(x) = \frac{1}{1+e^{-x}}$

2.tanh 函数

$tanh(x) = \frac{e^x-e^{-x}}{e^x+e^{-x}}$

3.ReLU函数（max(0,x)）

4.leaky ReLU函数（max(0.01x,x)）

更多精彩内容