环球观察:UCB1策略和公式的理解 解决探索与利用平衡问题
UCB公式的理解
(资料图片)
在解决探索与利用平衡问题时,UCB1 策略是一个很有效的方法,而探索与利用平衡问题中最经典的一个问题就是多臂赌博机问题(Multi-Armed Bandit)。
问题假设:按下摇臂后的回报取值为 1 或 0,每个摇臂获得回报的概率服从不同的分布,但事先并不知道
问题目标:按照某种策略来按压摇臂以获得最大的累计回报(咦,这不就是强化学习的目标嘛)
在这个问题中,探索与利用就是:
利用(exploitation):按压之前获得回报概率最高的那个臂,以获得更高的累计回报。但是因为回报是随机的,对每个臂的回报概率的估计并不准确,或许真实回报概率最高的那个臂并非当前估计的那个臂。
探索(exploration):随机地去按压不同的臂,得到每个臂更精确的回报概率估计,从而找到真实的那个最优的臂。但是要探索,就要去按压目前回报概率估计并不高的臂,意味着会损失一些按压高回报摇臂的机会。
窘境:因为尝试次数有限,所以探索和利用是矛盾的,加强一方必然削弱另一方。要想回报最大,则必须在探索和利用之中达成较好的平衡。
那如何来平衡探索和利用呢?
已有的方法包括 ϵ \epsilon ϵ - greedy 策略和 softmax 策略,可以参考[2]进行了解,这里重点讲解对UCB1策略和公式的理解,见下图:
公式中如果只有第一项,那就是一个纯利用,也就是贪婪策略,它很容易陷入局部极值,而第二项的意义在于,如果我们对一个臂的了解过于少,那它的平均回报在此时的置信度是很低的,不确定度就很高,置信区间就很大(我想也可以理解为方差很大),我们就非常不相信它此时的平均回报就是它真实的平均回报,所以我们需要选择这个臂来获取更多的信息。
因此,第二项可以当做一个测量对臂了解多少的指标,了解越少,第二项越大。加入了第二项这个指标,我们可以说这个算法是有好奇心的,当对于一个臂的了解不够时,它会被选中,即使这个臂的平均回报很低。
至于为什么第二项是这样的结构,可参见[3]和[4]。
上图的策略要求中,第一点,对平均回报的取值限制,是为了让第一项和第二项在同一个量级中;第二项是因为每一个臂都需要至少被选择一次,因此,在使用UCB算法时需要注意,如果可尝试次数小于总的臂数时,那UCB就是一个纯探索策略而失去意义了。
参考:
[1]. 高级强化学习系列 第二讲 探索-利用困境(exploration-exploitation dilemma)(二)
[2]. 高级强化学习系列 第二讲 探索-利用困境(exploration-exploitation dilemma)(一)
[3]. Bandit Algorithms Continued: UCB1
[4]. Multi-Armed Bandit: UCB (Upper Bound Confidence)
标签:
相关推荐:
最新新闻:
- 热消息:全球最权威的学术期刊之一——《科学》
- 世界播报:抽象是什么?为什么学Java会遇到抽象?
- 环球观察:UCB1策略和公式的理解 解决探索与利用平衡问题
- java的序列化机制是什么?java序列化ID的作用:世界热闻
- rolling(k)函数的用法详解 例子说明rolling函数的用法
- 天天时讯:cdn加速测试:又拍云每个月免费提供15g流量
- 当前头条:堆与栈有什么区别?堆与栈的区别详细总结
- 什么是数据库索引?MySQL官方对索引的定义及索引优劣势分析:每日速读
- 微信支付如何关闭“自动扣费”?关闭微信自动扣费的方法步骤 全球报资讯
- 世界信息:程序、进程和线程——多线程的创建方法
- 观速讯丨数字解谜游戏——数独直观法解题技巧
- 从高层到底层所有人的战略语言——BLD
- (java8)遍历JSONArray拼接字符串的两种方法|天天最资讯
- 与熊论道为什么解码不了?“熊”孩子都有哪些表现?_世界快看点
- 英国女子号称“现实版睡美人” 每天昏睡22小时
- 环球速递!《神领编年史》新更新上线 SE移除D加密技术
- 2023年2月PS5在英国的销量暴涨316%
- 全球消息!《死亡细胞》重返恶魔城DLC发布上市预告
- 北京最新天气预报:今天最高气温19℃,大气扩散条件和能见度较差
- Arkane确认所有版本《红霞岛》支持跨平台联机
- 太便宜了!精粤B760M主板仅需399元
- 天天微头条丨只能用功能机 司法部要求FTX创始人保释期间不能用智能手机
- 续航50短通勤 五星钻豹电动车1299元:全球热头条
- 索尼克之父中裕司认罪!承认内幕交易
- 环球视讯!微软Win11开始重新设计混音器
- 人民币是什么材料做的|即时看
- 《最终幻想16》不是基于夜光或虚幻引擎运行
- 全球讯息:《破坏领主》3月15日登陆主机 Endgame更新同时发布
- 《宝可梦:朱/紫》1.2更新后部分玩家存档被删除:环球要闻
- Wii U用户重创:任天堂下架马里奥赛车和斯普拉遁
- 烧白做法_烧白如何做
- 国外团队开发出突破性隐形眼镜 可防干眼症 速递
- 热消息:《忍者神龟:变种大乱斗》首曝中字预告 “龟”来依旧是少年
- 红楼梦十二金钗判词|环球热闻
- 当前热讯:男子用微缩模型还原高启强老家:做了11天 约400个配件
- 戴尔推出AW620M无线鼠标 DPI最高26000
- 焦点热议:百威亚太(01876):高端啤酒龙头国内市场“遇冷记”
- 外媒锐评《自杀小队》服务模式:都想学《命运》?
- 《大航海时代:起源》现已在Steam免费发售 支持中文配音
- 《古墓丽影》重启作发售10周年纪念 官方发文庆贺 新视野
- 修培刻灵“蕉仙素”是非药物疗法与现代生物科技的结晶
- 澳大利亚将对猫咪实行“宵禁” 逃跑出门或被处决
- 华语悬疑剧《模仿犯》新预告:3.31网飞独家上线:环球聚看点
- 一本院校回应招聘会有洗碗工岗位 不只面向学生
- 小米MIUI 14迎来最新升级!MIUI相机史诗级更新(附刷机包下载)
- 电视剧山河令演员表|环球观点
- 【当前热闻】荣耀发布四款MagicBook笔记本,主要特点一览
- 看片太爽了!极空间 Z4s NAS 售价新低:2899元
- 《龙珠斗士Z》官方宣布仍将调整平衡性 新更新稍后实施:环球速递
- 每日讯息!Furyu ARPG新作《恸哭机巧》OP动画公开
- 《龙珠斗士Z》官方宣布仍将调整平衡性 新更新稍后实施:环球速递
- 新资讯:《火焰纹章:结合》DLC第三弹纹章士介绍影片公开
- 每日讯息!Furyu ARPG新作《恸哭机巧》OP动画公开
- 全球今头条!荣耀 MagicBook X 14/16 Pro 笔记本发布:4299 元起,13 代酷睿
- 环球热讯:京东百亿补贴正确打开方式轻松get 飞利浦小旋风空气炸锅只要349元
- 京东「百亿补贴」上线,红米K50至尊顶配低至2949元
- 抄底价!小米Redmi K50 Ultra 12+256G仅2619元|环球头条
- 折叠屏手机首次出货量下滑,同比下降 26%
- 饭制虚幻5《GTA:圣安地列斯》重制版预告:CJ前面跑 飞机后头追
- 雷军:小米造车进展超预期 预计明年上半年量产_世界球精选
- 环球热点!《如龙 维新·极》制作人采访:焕然一新的游戏体验!
- 传闻:《GTA6》2024年底推出 本体或削减内容用DLC补齐-看热讯
- 卧龙苍天陨落天柱派钥匙在哪?卧龙苍天陨落道士家的后院钥匙位置_今日热闻
- 5秒学会用抖音 但当代年轻人已不会用打印机甚至电脑:时代真变了
- “雷锋精神”在警营 伊春公安将爱“钉”入百姓家:天天快资讯
- 世界滚动:三微边设计!小米27英寸2K IPS显示器低至749元
- 环球精选!超大超爽!12G+512G旗舰机2149元
- 焦点关注:春季行情!苏宁易购举办专场供应商沟通会
- 直降500元!铭瑄MS-RTX4080 iCraft OC16G瑷珈独立显卡
- 每日快报!12代酷睿四核神U加持!天钡N-box迷你主机低至898元
- 游戏改编《龙与地下城》新预告:宝箱怪、噬脑怪亮相:今日最新
- 座位螺栓没拧紧!特斯拉在美召回3470辆汽车|焦点热闻
- 《怪物猎人崛起:曙光》推出冥渊龙和混沌黑蚀龙Q版毛绒玩具 售价196元
- 《卧龙:苍天陨落》PS5性能分析 身临其境般的体验_当前通讯
- 航空航天
- 33万买奥迪A7L 内部福利普通人别想:世界观热点
- 2022年全球光伏组件出货量top10!黑马“大明光福”首次入选_全球头条
- 京东百亿补贴3月6日全面上线 海信高清电视仅售755元
- 【环球速看料】京东百亿补贴全面上线:4899元买iPhone 14
- 焦点关注:国产游戏显卡直降1100元:已支持42款游戏
- 举义旗迎国货,一科技公司发起反ChatGPT号召
- 全球消息!《最后生还者》第八集IGN 9分:绝望使人坠入深渊
- 致敬经典 粉丝打造《最终幻想6》2D-HD重制版
- 天天视点!《最终幻想16》新宣传片 更多游戏细节介绍
- 天天新资讯:女子10元机选票擒双色球830万 连续多天没睡好觉