logistic回归详解(二):损失函数(cost function)详解 - CSDN博客

标签: | 发表时间:2018-04-29 10:34 | 作者:
出处:https://blog.csdn.net

有监督学习

机器学习分为有监督学习,无监督学习,半监督学习,强化学习。对于逻辑回归来说,就是一种典型的有监督学习。
既然是有监督学习,训练集自然可以用如下方式表述:

{(x1,y1),(x2,y2),⋯,(xm,ym)}

对于这m个训练样本,每个样本本身有n维特征。再加上一个偏置项x0, 则每个样本包含n+1维特征:

x=[x0,x1,x2,⋯,xn]T

其中x∈Rn+1,x0=1,y∈{0,1}

李航博士在统计学习方法一书中给分类问题做了如下定义:
分类是监督学习的一个核心问题,在监督学习中,当输出变量Y取有限个离散值时,预测问题便成为分类问题。这时,输入变量X可以是离散的,也可以是连续的。监督学习从数据中学习一个分类模型或分类决策函数,称为分类器(classifier)。分类器对新的输入进行输出的预测(prediction),称为分类(classification).

在logistic回归详解一( http://blog.csdn.net/bitcarmanlee/article/details/51154481)中,我们花了一整篇篇幅阐述了为什么要使用logistic函数:

hθ(x)=g(θTx)=11+e−θTx

其中一个重要的原因,就是要将Hypothesis(NG课程里的说法)的输出映射到0与1之间,既:
0≤hθ(x)≤1

同样是李航博士统计学习方法一书中,有以下描述:
统计学习方法都是由模型,策略,和算法构成的,即统计学习方法由三要素构成,可以简单表示为:

方法=模型+策略+算法

对于logistic回归来说,模型自然就是logistic回归,策略最常用的方法是用一个损失函数(loss function)或代价函数(cost function)来度量预测错误程度,算法则是求解过程,后期会详细描述相关的优化算法。

logistic函数求导

g′(z)=ddz11+e−z=1(1+e−z)2(e−z)=1(1+e−z)⋅(1−1(1+e−z))=g(z)(1−g(z))

此求导公式在后续推导中会使用到

常见的损失函数

机器学习或者统计机器学习常见的损失函数如下:

1.0-1损失函数 (0-1 loss function)

L(Y,f(X))={1,0,Y ≠ f(X)Y = f(X)

2.平方损失函数(quadratic loss function)

L(Y,f(X))=(Y−f(x))2

3.绝对值损失函数(absolute loss function)

L(Y,f(x))=|Y−f(X)|

4.对数损失函数(logarithmic loss function) 或对数似然损失函数(log-likehood loss function)

L(Y,P(Y|X))=−logP(Y|X)

逻辑回归中,采用的则是对数损失函数。如果损失函数越小,表示模型越好。

说说对数损失函数与平方损失函数

在逻辑回归的推导中国,我们假设样本是服从伯努利分布(0-1分布)的,然后求得满足该分布的似然函数,最终求该似然函数的极大值。整体的思想就是求极大似然函数的思想。而取对数,只是为了方便我们的在求MLE(Maximum Likelihood Estimation)过程中采取的一种数学手段而已。

损失函数详解

根据上面的内容,我们可以得到逻辑回归的对数似然损失函数cost function:

cost(hθ(x),y)={−log(hθ(x))−log(1−hθ(x))if y=1if y=0

稍微解释下这个损失函数,或者说解释下对数似然损失函数:
当y=1时,假定这个样本为正类。如果此时hθ(x)=1,则单对这个样本而言的cost=0,表示这个样本的预测完全准确。那如果所有样本都预测准确,总的cost=0
但是如果此时预测的概率hθ(x)=0,那么cost→∞。直观解释的话,由于此时样本为一个正样本,但是预测的结果P(y=1|x;θ)=0, 也就是说预测 y=1的概率为0,那么此时就要对损失函数加一个很大的惩罚项。
当y=0时,推理过程跟上述完全一致,不再累赘。

将以上两个表达式合并为一个,则单个样本的损失函数可以描述为:

cost(hθ(x),y)=−yilog(hθ(x))−(1−yi)log(1−hθ(x))

因为yi只有两种取值情况,1或0,分别令y=1或y=0,即可得到原来的分段表示式。

全体样本的损失函数可以表示为:

cost(hθ(x),y)=∑i=1m−yilog(hθ(x))−(1−yi)log(1−hθ(x))

这就是逻辑回归最终的损失函数表达式

相关 [logistic 回归 函数] 推荐:

logistic回归详解(二):损失函数(cost function)详解 - CSDN博客

- -
机器学习分为有监督学习,无监督学习,半监督学习,强化学习. 对于逻辑回归来说,就是一种典型的有监督学习. 既然是有监督学习,训练集自然可以用如下方式表述:. 对于这m个训练样本,每个样本本身有n维特征. 再加上一个偏置项x0, 则每个样本包含n+1维特征:. 其中x∈Rn+1,x0=1,y∈{0,1}.

Python实现逻辑回归(Logistic Regression in Python)

- - 神刀安全网
Logistic Regression in Python ,作了中文翻译,并相应补充了一些内容. 本文并不研究逻辑回归具体算法实现,而是使用了一些算法库,旨在帮助需要用Python来做逻辑回归的训练和预测的读者快速上手. 逻辑回归是一项可用于预测二分类结果(binary outcome)的统计技术,广泛应用于金融、医学、犯罪学和其他社会科学中.

对线性回归,logistic回归和一般回归的认识 - JerryLead - 博客园

- -
     【转载时请注明来源】:.      2011年2月27日.      作为一个机器学习初学者,认识有限,表述也多有错误,望大家多多批评指正.       本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识. 前四节主要讲述了回归问题,回归属于有监督学习中的一种方法. 该方法的核心思想是从连续型统计数据中得到数学模型,然后将该数学模型用于预测或者分类.

Python实现逻辑回归(Logistic Regression in Python)_给力星

- -
Logistic Regression in Python,作了中文翻译,并相应补充了一些内容. 本文并不研究逻辑回归具体算法实现,而是使用了一些算法库,旨在帮助需要用Python来做逻辑回归的训练和预测的读者快速上手. 逻辑回归是一项可用于预测二分类结果(binary outcome)的统计技术,广泛应用于金融、医学、犯罪学和其他社会科学中.

Logistic Regression 模型简介

- - 美团技术团队
逻辑回归(Logistic Regression)是机器学习中的一种分类模型,由于算法的简单和高效,在实际中应用非常广泛. 本文作为美团机器学习InAction系列中的一篇,主要关注逻辑回归算法的数学模型和参数求解方法,最后也会简单讨论下逻辑回归和贝叶斯分类的关系,以及在多分类问题上的推广. 实际工作中,我们可能会遇到如下问题:.

回归

- ZX - Reborn
这学期开始的很不情愿,似乎每次开学前都觉得自己还没有准备好,都觉得应该再收收心. 总是这样,急匆匆地,定不下心. 这两天回归到该有的状态了,脚步开始匆忙,早上起床开始不怎么拖拉,开始慢慢把睡觉时间往前移...就是心理课从来都不能在课前把该读的读掉.... 新的学期,所有的课我都很喜欢. 这是这学期到现在收获最大的一门课.

Quipster : Check-In 的回归

- Mir_lww - 爱范儿 · Beats of Bits
当 Check-In 渐渐沦为打折券的傀儡,Quipster 却在思考如何让 Check-In 变的更有意义. 为商业服务的 Check-In. 用户是如何使用 LBS 服务的. 数据表明有接近一半的用户因为希望得到优惠而 Check-In. 商铺建立签到点,和服务商协定好优惠信息然后坐等用户上门.

Kernel.org 及 Linux.com 回归

- beta4better - LinuxTOY
Linux 内核档案站点 Kernel.org 恢复工作,Linux 基金会旗下的门户站点 Linux.com 重新上线. 恢复后的 Kernel.org 一如既往的……简洁. 不过想要重新恢复 git 使用的话,建议开发者遵循此流程. Linux.com 则带来了一些更新,包括:. 移除社区和群组模块,正在构建新的社交模块.

诗意的回归

- 芸窗 - 博客李淼
我是新晋诗人,每到宣布诺奖的那个礼拜,总是期待某个诗人能获奖. 博彩公司每年也开出赔率,近几年都是诗人最被看好,例如叙利亚诗人阿多尼斯,例如瑞典诗人特朗斯罗默. 特朗斯特罗默获奖,应该是毫无争议的. 这位诗人,早已被众多诗人“同行”公认为大师,从1954年发表第一本诗集《十七首诗》开始,每隔几年就出一本诗集.

离线功能回归Gmail

- Myheimu - 驱动之家新闻_最新新闻
千呼万唤始出来──用这句话形容离线版Gmail、Google Docs 和 Google Calendar一点不为过,尤其是在Google一刀切取消了以前用于离线的Google Gears之后,大家就一直在等待一个离线版的应用解决方案,在Chromebook发布之后其意义更加重大. 今天Google终于宣布了可让Chrome实现离线的网页应用Gmail Offline ,该应用完全基于HTML5打造,界面则基于Gmail的平板界面(这是最让人不满的),在你没有网络连接的情况下,通过Chrome打开这个离线网页应用,即可管理自己的Gmail邮件了.