RMSE、MAE、MSE 如何衡量模型效果好坏?-全球看热讯
回归模型的性能的评价指标主要有:RMSE(平方根误差)、MAE(平均绝对误差)、MSE(平均平方误差)、R2_score。但是当量纲不同时,RMSE、MAE、MSE难以衡量模型效果好坏。这就需要用到R2_score,实际使用时,会遇到许多问题,今天我们深度研究一下。
预备知识
【资料图】
搞清楚R2_score计算之前,我们还需要了解几个统计学概念。
若用$y_i$表示真实的观测值,用$\bar{y}$表示真实观测值的平均值,用$\hat{y_i}$表示预测值,则:
回归平方和:SSR
$$SSR = \sum_{i=1}^{n}(\hat{y_i} - \bar{y})^2$$
即估计值与平均值的误差,反映自变量与因变量之间的相关程度的偏差平方和
残差平方和:SSE
$$SSE = \sum_{i=1}^{n}(y_i-\hat{y_i} )^2$$
即估计值与真实值的误差,反映模型拟合程度
总离差平方和:SST
$$SST =SSR + SSE= \sum_{i=1}^{n}(y_i - \bar{y})^2$$
即平均值与真实值的误差,反映与数学期望的偏离程度
R2_score计算公式
R^2 score,即决定系数,反映因变量的全部变异能通过回归关系被自变量解释的比例。计算公式:
$$R^2=1-\frac{SSE}{SST}$$
即
$$R^2 = 1 - \frac{\sum_{i=1}^{n} (y_i - \hat{y}_i)2}{\sum_{i=1}{n} (y_i - \bar{y})^2}$$
进一步化简
$$R^2 = 1 - \frac{\sum\limits_i(y_i - y_i)^2 / n}{\sum\limits_i(y_i - \hat{y})^2 / n} = 1 - \frac{RMSE}{Var}$$
分子就变成了常用的评价指标均方误差MSE,分母就变成了方差。
对于$R^2$可以通俗地理解为使用均值作为误差基准,看预测误差是否大于或者小于均值基准误差。
R2_score = 1,样本中预测值和真实值完全相等,没有任何误差,表示回归分析中自变量对因变量的解释越好。
R2_score = 0。此时分子等于分母,样本的每项预测值都等于均值。
R2_score不是r的平方,也可能为负数(分子>分母),模型等于盲猜,还不如直接计算目标变量的平均值。
r2_score使用方法
根据公式,我们可以写出r2_score实现代码
1- mean_squared_error(y_test,y_preditc)/ np.var(y_test)
也可以直接调用sklearn.metrics中的r2_score
sklearn.metrics.r2_score(y_true, y_pred, sample_weight=None, multioutput="uniform_average")
#y_true:观测值
#y_pred:预测值
#sample_weight:样本权重,默认None
#multioutput:多维输入输出,可选‘raw_values’, ‘uniform_average’, ‘variance_weighted’或None。默认为’uniform_average’;
raw_values:分别返回各维度得分
uniform_average:各输出维度得分的平均
variance_weighted:对所有输出的分数进行平均,并根据每个输出的方差进行加权。
sklearn.metrics.r2_score使用方法
import matplotlib.pyplot as plt
import numpy as np
from sklearn import datasets, linear_model
from sklearn.metrics import r2_score
#导入数据
diabetes_X, diabetes_y = datasets.load_diabetes(return_X_y=True)
diabetes_X = diabetes_X[:, np.newaxis, 2]
#划分测试集验证集
diabetes_X_train = diabetes_X[:-20]
diabetes_X_test = diabetes_X[-20:]
diabetes_y_train = diabetes_y[:-20]
diabetes_y_test = diabetes_y[-20:]
# 创建线性回归模型
regr = linear_model.LinearRegression()
# 训练模型
regr.fit(diabetes_X_train, diabetes_y_train)
# 预测
diabetes_y_pred = regr.predict(diabetes_X_test)
# 模型评价
print("r2_score: %.2f"
% r2_score(diabetes_y_test, diabetes_y_pred))
# 绘制预测效果图
plt.scatter(diabetes_X_test, diabetes_y_test, color="black")
plt.plot(diabetes_X_test, diabetes_y_pred, color="blue", linewidth=3)
plt.xticks(())
plt.yticks(())
plt.show()
r2_score: 0.47
r2_score偏小,预测效果一般。
注意事项
1、$R^2$ 一般用在线性模型中(非线性模型也可以用)
2、$R^2$不能完全反映模型预测能力的高低,某个实际观测的自变量取值范围很窄,但此时所建模型的R2 很大,但这并不代表模型在外推应用时的效果肯定会很好。
3、数据集的样本越大,R²越大,因此,不同数据集的模型结果比较会有一定的误差,此时可以使用Adjusted R-Square (校正决定系数),能对添加的非显著变量给出惩罚:
$$R2_{\text{Adj}}=1-(1-R2)\frac{n-p-1}{n-1}$$
n是样本的个数,p是变量的个数
Reference
标签:
相关推荐:
最新新闻:
- rar密码有什么破解方法?解密文件有什么方法?
- 最新资讯:张一鸣:华为人才基因的真正密码
- 【反汇编】ce附加红警3找钱的进程:环球速递
- rayfile网盘功能介绍 rayfile网盘安装步骤及安装注意事项
- 【技术】硬盘存储器的层次结构及原理
- 硬盘整数分区怎么计算?NTFS整数分区数值表分享
- 马冬晗学习计划表 清华学霸计划表曝光-精选
- 环球快讯:《霹雳五号》:一个机器人的自我意识
- RMSE、MAE、MSE 如何衡量模型效果好坏?-全球看热讯
- 每日动态!厨房管理游戏《末日等待》Steam页面上线 支持简中
- bin文件夹是什么?bin文件删了有什么影响?
- Bodypaint 3D怎么用?Bodypaint 3D安装使用方法
- DLL是什么?winmm.dll丢失怎么解决?
- 硬盘温度多少度才算正常?硬盘温度过高怎么办呢?
- mcafee修复所有漏洞 没有让客户暴露在风险之中
- 积分电路是什么?积分电路的原理和作用
- XPS Viewer是什么软件?XPS Viewer的使用方法
- 供应商的选择、评审和动态管理的方法 焦点快播
- 网飞推出AI视频短片《犬与少年》 实验性作品
- 如何让视障用户更好使用你的网站?10条网站易用性技巧
- 【天天时快讯】《艾尔登法环》Steam页面后台更新 或是将有新内容发布
- 正荣地产:1月合约销售金额约为13.56亿元|世界看热讯
- 小米13 Ultra曝光:2K E6曲面屏+1英寸超大底+120倍长焦-每日热议
- 《猎天使魔女3》已售出104万份 贝姐魅力大|热文
- 四川针对10领域出36条政策推动经济整体好转
- 科技裁员潮愈演愈烈!Zoom拟解雇1300人-即时焦点
- 天天资讯:《星球大战绝地:幸存者》9分钟实机:双持光剑砍瓜切菜
- 10年超12万人逃离巴黎!副市长:高房价带来巨大压力
- ChatGPT竞品来了!谷歌公布聊天机器人Bard:世界微头条
- 天天新资讯:ChatGPT引爆新一轮科技军备赛
- 全球热头条丨2999元!中国特供游戏神U英特尔酷睿i7-13790F曝光
- 小值360度全景摄像头直降400元到手79元
- RTX 4090+双模技术加持 雷神顶级电竞本ZERO 2023大黄蜂款上市:全球时快讯
- 天天速递!【手慢无】开工大促!AMD锐龙R5-5600G神U低至769元
- 环球关注:LD62H系列精巧高压电磁阀
- 热门:变身蜘蛛侠《命运2:光陨之秋》新技能缚丝预告
- 播报:顶级游戏本阵营再添新品 24核心i9配RTX 4090 发售价或将创新低
- 家用料理更高效 九阳太空系列轻音破壁料理机低至649.9元
- 挟ChatGPT挑战谷歌!微软利用AI升级Bing搜索和Edge浏览器
- i7-13700KF盒装特价仅需3199元
- 每日消息!高刷电竞直屏!Realme GT Neo5屏幕规格曝光
- 天天实时:【秒懂知识库】不用吹风机对头发更好?其实错了
- 文盲作文600字|热门
- 天天精选!《宝可梦:朱/紫》六周售出2000万套 2月底将进行更新
- 《木卫四协议》3.02更新上线 新增“硬核模式”:每日快播
- 尽在掌握!开发组确认《漫威钢铁侠》正在制作中
- 合作逃亡游戏《如何逃脱》面向各大平台公布
- 一半棉一半聚酯纤维会起球吗_聚酯纤维会起球吗-当前报道
- individual是什么意思_individual是什么意思|即时
- 八大巨人图片_八尺巨人
- 速读:美国天才男孩9岁高中毕业 长大想研究黑洞和超新星
- 《寂静之地》衍生电影开拍 明年3月上映 当前滚动
- 环球消息!Garmin佳明智能手表助力“北极星黎明”载人航天飞行任务
- 太正确啦!《霍格沃茨之遗》首个跨性别女角色亮相
- 世界头条:PS VR2也能玩非VR游戏!最高支持120帧
- 【世界热闻】惠普新款暗影精灵9台式机开售 16999元
- 土耳其强震为何如此致命?专家分析这些因素或是关键
- 世界新资讯:二次触发熔断!土耳其股市暴跌,强震已致5000人丧生
- 硅酸钙板是什么有什么用途
- 【环球播资讯】《流浪地球2》排片占比25.3%登顶 《黑豹2》仅第三
- 全球热推荐:抖音将于3月1日上线全国外卖服务:边刷视频边下单
- 每日报道:一根针如果以光速撞击地球,会发生什么?
- 街头品牌,别学别人:全球热头条
- 环球资讯:宁波有几个高铁站_宁波高铁站在哪里
- 售价2999元!联想V14 / V15 2023锐龙版笔记本今天首销|当前快看
- 理想L7“曙光红”新配色首曝:33.98万起 全球消息
- 以高科技传情达意,戴森如何以“洞察力”打造情人节贴心好礼?
- 完美嵌入家居中,容声WILL无边界系列冰箱成家装新宠 焦点滚动
- 开学季钜惠!映众RTX 3060黑金至尊版仅需2399元
- 这下不会跳票了:《死亡岛2》ESRB过审 评级为R17|世界热资讯
- 《足球小将》推出新策划 购入NFT打造原创足球_每日观察
- 迪士尼真人版《小美人鱼》女主新照 身材好衣服美|每日短讯
- 为阻止日元快速贬值,日本政府去年动用超9万亿日元干预市场:世界讯息
- 今日关注:游戏耳机也有好音质 一加 Buds Ace为「精英」玩家而声
- 环球视讯!雷军发文谈WiFi 7优势,网速快不是最大亮点