在逻辑回归中,如何直接根据对数损失函数的形式得到目标函数?
1.首先判断逻辑回归P(Y=y|x)表达式,是否符合伯努利分布。
hθ(x)=g(f(x))=1/(1+exp(−f(x))) ,y=1
P(X=y|x)=⎨ 1−hθ(x)=1−g(f(x))=exp(−f(x))1+exp(−f(x)),y=0
2.我们知道对数损失函数的标准形式为:
L(Y,P(Y|X))=−log(Y|X)
L(Y,P(Y|X))=−log(Y|X)
3.完成之后,将逻辑回归的表达式带入对数损失函数中,可以得到:
L(y,P(Y=y|X))={log(hθ(x))log(1−hθ(x)),y=1,y=0
L(y,P(Y=y|X))={log(hθ(x)),y=1log(1−hθ(x)),y=0
4.将上式进行化简,可以得到最终的目标函数:
J(θ)=−1m∑i=1m[yilog(hθ(xi))+(1−yi)log(1−hθ(xi))]
我们是将逻辑回归的形式将其带入对数损失函数中,就可以得到目标函数了。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。