开发者学堂课程【Tensorflow2.0入门与实战：逻辑回归与交叉熵】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/664/detail/11103
逻辑回归与交叉熵
基本介绍
一. 逻辑回归
二. 交叉熵
一.逻辑回归
1.什么是逻辑回归
线性回归预测的是一个连续值，逻辑回归给出的"是"和"否"的回答。
2.如何实现逻辑回归的预测
可以使用激活函数 Sigmoid,将输出值使用下方公式映射到0到1之间的值，这个值可以看成一个概率值。
当概率值<-5时输出一个负面的回答，当概率值>-5时输出一个正面的回答。这是逻辑回归的一种解决方案。
Sigmoid 函数是一个概率分布函数，给定某个输入，他将输出一个概率值。
深度学习网络本质上是一个映射网络，将特征输入映射出一层一层的向下映射，使用 Sigmoid 映射出一个0到1的值，这个网可看作输出逻辑回归值的网络。
二. 交叉熵
1.逻辑回归损失函数
平方差所惩罚的是与损失为同一数量级的情形。如果特征值取值范围很大而损失值很小，这时使用平方差刻画的损失非常小，不利于训练，训练速度慢。
2.交叉熵损失函数
对于分类问题，我们最好的使用交叉熵损失函数会更有效。
交叉熵会输出一个更大的“损失”。
交叉熵刻画的是实际输出(概率)与期望输出(概率)的距离，也就是交叉熵的值越小，两个概率分布就越接近。
假设概率分布p为期望输出，概率分布q为实际输出，H(p,q)为交叉熵，
则:
交叉熵会放大两种概率分布之间的损失。
深色曲线是L2损失，浅色曲线是交叉熵损失。靠近0时，交叉熵损失非常大，L2损失非常小。
3.keras交叉熵
在 keras 里，使用 binary_crossentropy 来计算二元交叉熵。
