KL散度、交叉熵、概率分布的差异是什么?时间序列中的概率分布
在看论文《Detecting Regions of Maximal Divergence for Spatio-Temporal Anomaly Detection》时,文中提到了这三种方法来比较时间序列中不同区域概率分布的差异。
KL散度、JS散度和交叉熵
三者都是用来衡量两个概率分布之间的差异性的指标。不同之处在于它们的数学表达。
(相关资料图)
对于概率分布P(x)和Q(x)
1)KL散度(Kullback–Leibler divergence)
又称KL距离,相对熵。
当P(x)和Q(x)的相似度越高,KL散度越小。
KL散度主要有两个性质:
(1)不对称性
尽管KL散度从直观上是个度量或距离函数,但它并不是一个真正的度量或者距离,因为它不具有对称性,即D(P||Q)!=D(Q||P)。
(2)非负性
相对熵的值是非负值,即D(P||Q)>0。
2)JS散度(Jensen-Shannon divergence)
JS散度也称JS距离,是KL散度的一种变形。
但是不同于KL主要又两方面:
(1)值域范围
JS散度的值域范围是[0,1],相同则是0,相反为1。相较于KL,对相似度的判别更确切了。
(2)对称性
即 JS(P||Q)=JS(Q||P),从数学表达式中就可以看出。
3)交叉熵(Cross Entropy)
在神经网络中,交叉熵可以作为损失函数,因为它可以衡量P和Q的相似性。
交叉熵和相对熵的关系:
以上都是基于离散分布的概率,如果是连续的数据,则需要对数据进行Probability Density Estimate来确定数据的概率分布,就不是求和而是通过求积分的形式进行计算了。
个人理解:
1、KL散度本质是用来衡量两个概率分布的差异一种数学计算方式;由于用到比值除法不具备对称性;
2、神经网络训练时为何不用KL散度,从数学上来讲,它们的差异在于KL散度多减了一个 H(P);P代表真实分布,Q代表估计的分布
从损失函数角度来看,在训练样本固定的情况下,H(P)是个常数,对梯度更新没有价值;所以两者的最优解是一样的;
标签:
相关推荐:
最新新闻:
- 当前简讯:计算机语言元素周期表——3D版化学元素列表
- 如何查询每个岗位的中位数位置?如何分析中位数?_环球热讯
- 决策树算法是什么?决策树的定义与核心思想 视焦点讯
- WEG的完整形式是什么?WEG的完整形式介绍_世界快看
- 键盘上三个灯分别是什么?Num Lock键的作用介绍
- 【环球热闻】Kitten-少儿编程的首选工具 Kitten-少儿编程详情介绍
- 今日报丨AI论文中的novelty如何评价?详情介绍
- 【WOTD】remittance 释义/词源/示例 词源词根演化
- 为什么用Thread.Sleep函数把线程挂起时间?关于Thread.sleep的两个问题_世界时讯
- Statement、PreparedStatement、CallableStatement有什么区别?三者区别的详情介绍
- iPhone 14Plus遇冷:不降价就买安卓!
- 天天新消息丨如何搭建VIE架构?VIE架构如何实现海外上市?
- KL散度、交叉熵、概率分布的差异是什么?时间序列中的概率分布
- struts的框架介绍 Struts2框架的大致处理流程-世界新要闻
- 马斯克:10万亿美元“改造地球” 专家说不靠谱
- 环球观天下!PMA的应用是什么?基于PMA-qPCR的生物学检测方法
- 基于jsp+servlet+pojo+mysql的贴吧系统 java项目源码介绍_全球观天下
- NTC热敏电阻的采集方法有哪些?NTC热敏电阻温度采集方法介绍
- 什么是扁平化设计?扁平化时代之后会怎样?
- Log4j2源码解析:同步写、异步写原理、中间技术思考-天天看热讯
- 电介质和导体的区别是什么?电介质和导体的区别介绍
- 中兴通讯智慧家庭发布路由器新品小方糖 助推家庭网络千兆带宽普及 世界时讯
- Applewatch瑟瑟发抖!卡西欧推出G-SQUAD GBD-H2000智能手表 当前讯息
- iPhone中国换购价普降 iPhone 13 Pro折换价低了400元
- 每日快讯!大学老师撞脸《狂飙》高启盛 这压迫感谁不听课?
- 观天下!卡普空3月10日播出直播节目 将发布怪物猎人生化危机4等游戏新情报
- 《蜘蛛侠:平行宇宙2》新剧照曝光 蜘蛛侠2099亮相 格温紧随其后|环球新视野
- 《生化危机4:重制版》新演示和截图 里昂拯救黑丝碍事梨|当前滚动
- Mobileye荣获两大行业研究机构“自动驾驶领导者”评级-天天速看料
- 今日热讯:《堡垒之夜》将推出《生化危机》里昂、克莱尔联动皮肤
- iPhone 14 Pro同款“灵动岛”?realme C55手机官宣将于3月7日发布
- ALIENWARE外星人发布新款外设,扩展其不断增长的生态系统_前沿资讯
- 英特尔持续深耕数据中心渠道生态,聚合力赢未来 当前视点
- 屏下Face ID!iPhone 16 Pro大升级 报资讯
- 世界消息!《生化危机4》重制vs原版刀战对比:玩家实操机会更多!
- 中国载人航天总师:航天员见到外星人算星际合作|世界焦点
- 卖不动了!iPhone销量1月下跌11% 世界快播报
- 全球即时看!戴尔科技集团公布2023财年第四财季及全年财报
- 《黎明杀机》真人电影制作中 温子仁加盟|环球快看点
- 观天下!光荣版怪猎《狂野之心》分享赞誉宣传片
- 消息称动视收购案或将得到欧盟监管机构批准
- 《地狱之刃2》开发团队前后两次到冰岛实地取景
- 猫爬架也不安全 你做好这些准备了吗?
- 世界消息!抄底价!512GB M.2固态184元到手
- 女神节特惠!罗技爆款鼠标限时特惠229元
- 【当前独家】OpenAI允许App内嵌调用ChatGPT
- 人工智能加持?曝微软正在准备推出Windows 12|全球热闻
- 开放世界冒险《Tchia》PC配置公布 3月21日登陆Epic-当前快播
- 《FF16》宣发解禁!日本游戏店内摆满PS5实体盘盒
- 【独家焦点】《生化危机4:重制版》7分钟演示 刀战Jack Krauser
- 69岁成龙再跳摩天轮!《龙马精神》片场花絮曝光:环球信息
- 《卧龙:苍天陨落》IGN 8分 战斗最好的魂类游戏
- 新人结婚朋友随100张刮刮乐 新娘:1000元开出500多
- 《黑豹2》《蚁人3》翻车:超级英雄电影为什么在中国遇冷?:天天快报
- 每日热闻!B站公布四季度财报:日活9千万 净亏损14.95亿元
- 环球报道:一加首款折叠屏手机官宣:将于今年晚些时候面世
- 购映众显卡送《穿越火线》限定好礼活动再次延长
- 2023款联想小新14轻薄本,13代i5处理器4199元
- 新学期新目标 三星GalaxyWatch5系列助力领跑开学季:实时焦点
- 固态硬盘价格新低,1TB只要249 元_当前时讯
- 热点在线丨《三体》电视剧豆瓣涨至8.6分 于和伟:像涨工资一样
- 3月15日7款游戏离开XGP 《漫威银护》《传说之下》等
- 今日视点:《最终幻想14》6.35版确定3月7日上线 新地下城任务等更新
- 儿子篮球班倒闭家长花1000万买下 网友:这就是钞能力:当前视点
- 叙事RPG《奇唤士》中文实机演示发布 发售日期待定|环球热门
- 广州2023大中专学生医保待遇标准一览(门诊+住院)
- 硬核配置强悍性能,三星玄龙骑士电竞显示器细节打造超感体验_全球看点
- 天天实时:特斯拉人形机器人自己造自己,马斯克承认其数量将超人类
- 是德科技收购Cliosoft,进一步壮大EDA软件产品线 每日资讯
- 3.8女王节送礼指南|汉印小粉饼标签机让生活更精彩
- 全球速讯:日立水墅适VF全变频新品:引领墅适大宅智慧风向
- 乔尔大危机?《最后生还者》第二季有望年内开拍:当前消息
- 《死侍》出租司机加盟《蜘蛛侠:平行宇宙2》 饰演印度蜘蛛侠
- 首次个人演唱会高桥李依给出小提醒:宅男记得洗澡!_当前关注
- 人大代表新建议 应该尽快出台《反网络暴力法》