召回率 Recall、精确度Precision、准确率Accuracy、虚警、漏警等分类判定指标

标签: 召回 recall 精确度 | 发表时间:2014-04-01 17:31 | 作者:belltolls
出处:http://www.iteye.com

假设原始样本中有两类,其中:
1:总共有 P个类别为1的样本,假设类别1为正例。
2:总共有N个类别为0 的样本,假设类别0为负例。
经过分类后:
3:有 TP个类别为1 的样本被系统正确判定为类别1,FN 个类别为1 的样本被系统误判定为类别 0,显然有P=TP+FN;
4:有 FP 个类别为0 的样本被系统误判断定为类别1,TN 个类别为0 的样本被系统正确判为类别 0,显然有N=FP+TN;
 
那么:
精确度(Precision):
P = TP/(TP+FP) ;  反映了被分类器判定的正例中真正的正例样本的比重
 
准确率(Accuracy)
A = (TP + TN)/(P+N) = (TP + TN)/(TP + FN + FP + TN);    反映了分类器统对整个样本的判定能力——能将正的判定为正,负的判定为负
 
召回率(Recall),也称为 True Positive Rate:
R = TP/(TP+FN) = 1 - FN/T;  反映了被正确判定的正例占总的正例的比重
 
转移性(Specificity,不知道这个翻译对不对,这个指标用的也不多),也称为 True NegativeRate 
S = TN/(TN + FP) = 1 – FP/N;   明显的这个和召回率是对应的指标,只是用它在衡量类别0 的判定能力。
 
F-measure or balanced F-score
F = 2 *  召回率 *  准确率/ (召回率+准确率);这就是传统上通常说的F1 measure,另外还有一些别的F measure,可以参考下面的链接
 
上面这些介绍可以参考:
http://en.wikipedia.org/wiki/Precision_and_recall
同时,也可以看看: http://en.wikipedia.org/wiki/Accuracy_and_precision
 
为什么会有这么多指标呢?
        这是因为模式分类和机器学习的需要。判断一个分类器对所用样本的分类能力或者在不同的应用场合时,需要有不同的指标。 当总共有个100 个样本(P+N=100)时,假如只有一个正例(P=1),那么只考虑精确度的话,不需要进行任何模型的训练,直接将所有测试样本判为正例,那么 A 能达到 99%,非常高了,但这并没有反映出模型真正的能力。另外在统计信号分析中,对不同类的判断结果的错误的惩罚是不一样的。举例而言,雷达收到100个来袭 导弹的信号,其中只有 3个是真正的导弹信号,其余 97 个是敌方模拟的导弹信号。假如系统判断 98 个(97 个模拟信号加一个真正的导弹信号)信号都是模拟信号,那么Accuracy=98%,很高了,剩下两个是导弹信号,被截掉,这时 Recall=2/3=66.67%,Precision=2/2=100%,Precision也很高。但剩下的那颗导弹就会造成灾害。 
 
因此在统计信号分析中,有另外两个指标来衡量分类器错误判断的后果:
漏警概率(Missing Alarm)
MA = FN/(TP + FN) = 1 – TP/T = 1 - R;  反映有多少个正例被漏判了(我们这里就是真正的导弹信号被判断为模拟信号,可见MA此时为 33.33%,太高了) 

 
虚警概率(False Alarm)
FA = FP / (TP + FP) = 1 – P;反映被判为正例样本中,有多少个是负例。 


       统计信号分析中,希望上述的两个错误概率尽量小。而对分类器的总的惩罚旧是上面两种错误分别加上惩罚因子的和:COST = Cma *MA + Cfa * FA。不同的场合、需要下,对不同的错误的惩罚也不一样的。像这里,我们自然希望对漏警的惩罚大,因此它的惩罚因子 Cma 要大些。 

       个人观点:虽然上述指标之间可以互相转换,但在模式分类中,一般用 P、R、A 三个指标,不用MA和 FA。而且统计信号分析中,也很少看到用 R 的。

如果有错误的地方,欢迎指出并改正



已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [召回 recall 精确度] 推荐:

召回率 Recall、精确度Precision、准确率Accuracy、虚警、漏警等分类判定指标

- - 研发管理 - ITeye博客
假设原始样本中有两类,其中:. 1:总共有 P个类别为1的样本,假设类别1为正例. 2:总共有N个类别为0 的样本,假设类别0为负例. 3:有 TP个类别为1 的样本被系统正确判定为类别1,FN 个类别为1 的样本被系统误判定为类别 0,显然有P=TP+FN;. 4:有 FP 个类别为0 的样本被系统误判断定为类别1,TN 个类别为0 的样本被系统正确判为类别 0,显然有N=FP+TN;.

白话理解: 准确率(Accuracy), 精确率(Precision), 召回率(Recall)

- - 数据库 - ITeye博客
本文重点是在白话,不是数学上面的严格定义. 那首先要有一个业务场景,就好比上学,学习数据库,就要用到学生成绩. 在这,我们的业务场景就是对100个西瓜进行分类(已知生熟各半). 下面是针对上面场景,对各个术语的解释. 准确率(Accuracy): 对所有西瓜分类正确的比率.. 精确率(Precision): 挑出来的熟西瓜,有多少是正确的..

Recall Monkey 用聰明方法深入搜尋你需要的Firefox瀏覽歷史記錄

- 培根 - 電腦玩物
Firefox裡面最容易用來搜尋你看過哪些網頁的地方,其實是Firefox的多功能網址列,只要在網址列輸入部分關鍵字,就能快速找出前幾項重點歷史記錄. 不過若是需要更深入、更大量的挖掘瀏覽足跡時,Firefox內建的瀏覽記錄搜尋器就顯得很陽春,也沒有很好的輔助過濾功能. 我之前曾經介紹過一款台灣高手設計的套件「Voyage」,使用類似噗浪時間軸的方式來顯示瀏覽歷史記錄,這是閱讀歷史的好方式,但如果要深掘資料時還是不太適合,畢竟每個工具各有其特長.

中国因质量原因召回动车组

- vintone - Solidot
在宣布停止新的铁路建设项目,并降低现有高速列车的速度(速度下调15%到20%,车票下浮5%)之后,中国宣布召回动车组. 北方机车车辆工业集团宣布召回在京沪高铁运营的54大列CRH380BL型动车组. 京沪高铁运营的动车组数量因此从88对减少到66对. 北车集团生产的CRH380BL型动车组连续发生热轴报警误报、自动降弓、牵引丢失等故障.

高铁召回原因是动力轴出现裂缝

- 微笑!?~ - Solidot
本月初,北方机车车辆工业集团宣布因质量原因召回动车组,原因是连续发生了热轴报警误报、自动降弓、牵引丢失等故障. 财新网发表专题报道,声称召回的真正原因是动力轮轴发现裂纹. 车轴是连接列车轮对的关键部件,对列车安全关系重大. 动力轴处发现不明裂纹,不大可能是机械疲劳导致,而很有可能是质量问题. 60%的高铁轮由智奇提供,而智奇的实际控制人丁书苗是铁道部前部长刘志军腐败案件的关键人物.

捷豹因软件故障召回1.8万辆汽车

- SUN - Solidot
捷豹公司在发现了一个严重的软件故障后召回了约18000辆X型轿车. 故障可能会导致司机无法关闭自动控速,问题与捷豹自己研发的引擎管理控制软件有关. 问题软件只安装在采用柴油发动机的X型轿车上,生产时间是在2006年到2010年,共有17678辆汽车被召回. 如果真的发生故障,自动控速只能通过关掉点火开关关闭,这可能会导致其它设备停止工作.

白云山感冒清胶囊在香港被召回

- 跨栏高手 - 网易头条新闻
近日,“白云山牌”中成药感冒清胶囊由于被香港卫生署检测出含有西药“扑热息痛”而被召回. 昨日(10月11日),广州白云山制药股份有限公司 (000522,SZ)相关发言人告诉 《每日经济新闻》记者:“此次香港卫生署收回的白云山牌感冒清胶囊的质量问题由达之行负责. ”广东省食品药品监督局称,已经接到香港卫生署发.

美团点评旅游搜索召回策略的演进

- - 美团点评技术团队
本文内容与6月22日第22期美团点评技术沙龙“美团点评AI实践”主题演讲一致,欢迎大家去 现场和作者交流. 关注“美团点评技术团队”微信公众号,第一时间获取沙龙最新信息,还可以查阅往期沙龙PPT/视频. 美团点评作为最大的生活服务平台,有丰富的品类可供用户选择,因此搜索这个入口对各业务的重要性不言而喻,除了平台搜索外,业务搜索系统的质量和效果对用户体验、商家曝光、平台交易也有着关键作用.

业界良心?索尼宣布召回160万台Bravia液晶电视机

- Chris - 爱活网最新资讯
前段时间,索尼电视宣布本财年亏损额达10亿美元,已经连续八年亏损. 可屋漏偏逢连夜雨,就在12日,索尼公司宣布将在全球范围内召回160万台存在零部件故障的Bravia品牌液晶电视机. 据索尼公司说明,有关的此类电视机已经在日本发生了11宗故障,这些故障包括电视机冒烟、零部件融化等问题,所幸未造成人员伤亡.

因刹车风险特斯拉在中国召回逾百万辆汽车

- - 奇客Solidot–传递最新科技情报
特斯拉在中国召回 110 万辆存在刹车风险的汽车. 中国市场监管总局表示,本次召回范围内的车辆,没有允许驾驶员选择能量回收制动策略;同时,对驾驶员长时间深度踩下加速踏板的情况可能没有提供足够提醒. 以上因素叠加可能增加长时间误踩加速踏板的概率,可能增加碰撞的风险,存在安全隐患. 召回的汽车为生产日期在 2019 年 1月 12 日至 2023 年 4 月 24 日期间的部分进口 Model S、 Model X 、Model 3 及国产 Model 3 、Model Y 汽车,共计 1104622 辆.