每日时讯!谷歌又闹大乌龙 Jeff Dean参与的新模型竟搞错Hinton生日
最近,谷歌研究员发布了关于指令微调的最新工作!然而却宣传图中出现了可笑的乌龙。几个小时之前,谷歌大脑的研究员们非常开心地晒出了自己最新的研究成果:“我们新开源的语言模型Flan-T5,在对1,800多种语言的任务进行指令微调后,显著提高了prompt和多步推理的能力。”
(相关资料图)
然而,就在这张精心制作的“宣传图”上,竟藏着一个让人哭笑不得的bug!
请注意看Geoffrey Hinton的出生日期:
但实际上,Hinton出生于1947年……
虽然没有必然联系,但是Google自己的模型,竟然会把自家大佬的生日搞错?
马库斯同志看完直接就惊了:你们Google,没人负责审核的吗……
理论上,这篇拥有31位作者,外加Jeff Dean这种大佬参与的论文,不应该发生这种“低级错误”才对啊。
“复制”的时候“打错了”而已!
很快,论文的共同一作就在马库斯的推文下面进行了回复:“我们都知道,模型的输出并不总是符合事实。我们正在进行负责任的AI评估,一旦有了结果,我们将立即更新论文。”
没过多久,这位作者删除了上面那条推文,并更新留言称:“这只是在把模型的输出复制到Twitter上时,『打错了』而已。”
对此,有网友调侃道:“不好意思,你能不能给我翻译翻译,什么叫『复制』来着?”
当然,在查看原文之后可以发现,“图1”所示的生日,确实没错。
至于在宣传图中是如何从“1947”变成“1963”的,大概只有做图的那位朋友自己知道了。
随后,马库斯也删除了自己的这条推文。
世界重归平静,就像什么也没有发生一样。
只留下Google研究员自己推文下面的这条在风中飘摇——
扩展指令微调语言模型
既然误会解除了,我们就让话题重新回到论文本身上来吧。
去年,Google推出了一个参数量只有1370亿的微调语言网络FLAN(fine-tuned language net)。
https://arxiv.org/abs/2109.01652
FLAN是Base LM的指令调优(instruction-tuned)版本。指令调优管道混合了所有数据集,并从每个数据集中随机抽取样本。
研究人员称,这种指令调节(instruction tuning)通过教模型如何执行指令描述的任务来提高模型处理和理解自然语言的能力。
结果显示,在许多有难度的基准测试中,FLAN的性能都大幅超过了GPT-3。
这次,Google将语言模型进行拓展之后,成功刷新了不少基准测试的SOTA。
比如,在1.8K任务上进行指令微调的Flan-PaLM 540B,性能明显优于标准的PALM 540B(平均 + 9.4%),并且在5-shot的MMLU上,Flan-PaLM也实现了75.2%的准确率。
此外,作者还在论文中公开发布Flan-T5检查点。即便是与更大的模型(如PaLM 62B)相比,Flan-T5也能实现强大的小样本性能。
论文地址:https://arxiv.org/abs/2210.11416
总结来说,作者通过以下三种方式扩展了指令微调:
扩展到540B模型
扩展到1.8K的微调任务
在思维链(CoT)数据上进行微调
作者发现具有上述方面的指令微调显著提高了各种模型类(PaLM、T5、U-PaLM)、prompt设置(zero-shot、few-shot、CoT)和评估基准(MMLU、BBH、 TyDiQA、MGSM、开放式生成)。
这次的微调数据包括473个数据集、146个任务类别和1,836个总任务。
作者是通过结合之前工作中的四种混合(Muffin、T0-SF、NIV2 和 CoT),缩放(scale)成了下图中的1836个微调任务。
在研究中,微调数据格式如下图这样组合。研究者在有样本/无样本、有思想链/无思想链的情况下进行了微调。要注意的是,其中只有九个思维链(CoT)数据集使用CoT格式。
第四种微调数据的混合涉及CoT注释,作者用它来探索CoT注释的微调是否可以提高看不见的推理任务的性能。
作者从先前的工作中创建了9个数据集的新混合,然后由人类评估者手动为训练语料库编写CoT注释。这9个数据集包括算数推理、多跳推理(multi-hop reasoning)和自然语言推理等。
作者在广泛的模型中应用了指令微调,包括T5、PaLM和U-PaLM。对于每个模型,作者都采用了相同的训练过程,使用恒定的学习率,并使用Adafactor优化器进行了微调。
从下表中可以看出,用于微调的计算量仅占训练计算的一小部分。
作者根据模型的大小和微调任务的数量,在保留任务的性能上检测了缩放的影响。
作者从对三种大小的PaLM模型(8B/62B/540B)进行实验,从任务最少的混合开始,一次添加任务混合,然后再到任务最多的混合(CoT、Muffin、T0-SF 和 NIV2)。
作者发现,扩展指令微调后,模型大小和任务数量的扩展都会大大改善性能。
是的,继续扩展指令微调就是最关键的要点!
不过,在282个任务之后,收益开始略微变小。
从下表中可以看出,对于三种大小的模型,多任务指令微调后,相比没有微调时,性能有很大的提高,性能增益范围从9.4%到15.5%。
其次,增加微调数量可以提高性能,尽管大部分的改进来自282个任务。
最后,将模型规模增加一个数量级(8B→62B或62B→540B)会显著提高微调和非微调模型的性能。
为什么282个任务之后增益就变小了呢?有两种解释。
一是附加任务不够多样化,因此没有为模型提供新知识。
二是多任务指令微调的大部分收益,是因为模型学习更好地表达了它在预训练中已经知道的知识,而282个以上的任务并没有太大的帮助。
另外,作者还探讨了在指令微调混合中包含思想链(CoT)数据的效果。
可以看出,Flan-PaLM在所有评估基准上都优于PaLM。
不过令人惊讶的是,以前的指令微调方法(如FLAN,T0)显著降低了non-CoT的性能。
对此的解决方案是,只需在微调混合中添加9个CoT数据集,就可以在所有评估中获得更好的性能。
虽然思维链(Chain-of-Thought)prompting通常非常有效,但只能编写少量样本,而且零样本CoT并不总是有效果。
而Google研究者的CoT微调显著提高了零样本推理能力,比如常识推理。
为了展示方法的通用性,研究人员训练了T5、PaLM和U-PaLM。其中参数量的覆盖范围也非常广,从8000万到5400亿。
结果证明,所有这些模型都得到了显著提升。
在以往,开箱即用的预训练语言模型可用性通常都很差,比如对输入的prompt没有反应。
Google的研究者要求人类评估者来评估开放式生成问题的“模型可用性”。
结果显示,Flan-PaLM 的可用性比PaLM基础模型要高79%。
此外,指令微调还补充了其他的模型适应技术,比如UL2R。
同样的,Flan-U-PaLM取得了很多优秀的结果。
论文地址:https://arxiv.org/abs/2210.11399
Google的另一起“翻车”事件
可以说,刚刚发生的这个剧情,既视感相当强了!
没错,就在10月19日,当GooglePixel的官方账号试图挖苦苹果CEO库克时,被网友抓包:是用iPhone发的推文……
显然,这种事情早已不是第一次了。
2013年,T-Mobile的CEO就在Twitter上对三星Note 3赞不绝口,但用的是iPhone。
同样是2013年,黑莓的创意总监Alicia Keys在发布会上说,她已经抛弃了自己之前的iPhone,换了黑莓Z10。随后,就被发现用iPhone发推,甚至在被抓到后发推狡辩说是因为自己被黑了。
三星,也不例外:
而且,相比于Google的这次删推,三星当时做得更加决绝:直接删号!
看来,营销课程有必要加上这样的一条戒律了:如果你要推广一个产品,请不要用竞争对手的产品来做。
这并不是一个难以传授的信息,甚至还可以做得直白:在推销其他产品时,手里请不要拿着iPhone。
标签: Google 谷歌又闹大乌龙 Jeff Dean参与的新模型竟
下一篇:焦点资讯:宝马计划提升德国工厂EV动力电池产能 以满足纯电Mini Countryman需求
相关推荐:
最新新闻:
- 怎么通过回收站还原误删文件?回收站还原误删文件方法
- 如何解决Foxmail邮箱不能发送邮件问题?Foxmail邮箱不能发送邮件解决方法
- GrooveMonitor.exe是什么进程?GrooveMonitor.exe可以禁用卸载吗?
- Svchost.exe是什么?Svchost病毒清除办法
- win7系统如何设置Guest账户密码?Guest账户密码设置方法
- WebFreer怎么用?webfree浏览器使用方法
- GG修改器如何修改与冻结应用数值?修改与冻结应用数值操作步骤
- RMVB是什么意思?rmvb解析
- 有线宽带路由器怎么使用?有线宽带路由器使用方法
- 豆丁网上的文档怎么复制?豆丁网上的文档复制方法
- 安全更新补丁怎么下载?win7系统安全更新补丁KB4022722下载地址
- au_.exe是什么进程?au_.exe文件怎么删除?
- 卡盟是什么?为什么会有这么多的卡盟出现呢?
- cmd.exe是什么?cmd.exe有什么作用?
- 如何注册电脑上windows live的ID?windows live的ID注册步骤
- 如何解决Excel数据透视表无法分组问题?Excel数据透视表无法分组解决方法
- 黑莓10怎么使用代理?黑莓10使用代理的方法
- 如何使用网易云音乐Sati空间功能?网易云音乐Sati空间功能使用方法
- sqlwriter.exe进程是什么?sqlwriter.exe进程可以关闭吗?
- index.dat文件如何查看?使用工具查看index.dat文件
- 即时看!北约秘书长:乌克兰总有一天会加入北约,俄罗斯没有否决权
- 每日速看!《传送门》RTX版DLSS 3特性展示:开启前后的画面、帧数对比
- 58岁张曼玉参加纪念梅艳芳活动 穿V领碎花裙依旧优雅迷人
- 《漫威暗夜之子》官方发布预告片现已推出! 每日速讯
- 环球微头条丨歌手Hozier将参与本届TGA 与《战神》作曲家带来表演
- 《壮志凌云2》限时重返院线上映 12月2日至15日:天天看热讯
- 天天观天下!B站否认会推出贴片广告 陈睿回应接手B站游戏业务
- 天天快资讯丨亚马逊计划年投入10亿美元用于电影制作 推出12~15部
- 全球球精选!闲鱼卖二手,破财难消灾
- 《圣斗士星矢》真人电影先导预告和海报 过于霸气:环球即时
- FS社员工称工资不高有加班 但工作像玩黑魂有成就感:今日关注
- 热门:尹锡悦准备“量身定制”福利以吸引特斯拉超级工厂入驻韩国
- TI后更新来了 《DOTA2》7.32d平衡性更新上线:今日聚焦
- 热点评!《鬼怪》编剧新作 宋慧乔与前夫宋仲基“复仇之战”
- 分不清“事实与观点”的讨论,只是在浪费时间
- 出厂即6GHz i9-13900KS上架了 价格很贵
- 天天要闻:4款N卡停产 以后新卡只能买30系和40系了
- 环球动态:NUC玩跨界!英特尔公版NUC X15游戏本预售5999元
- 冠脉支架集采提价超25%,医药行业预期改变了吗?| 见智研究-全球焦点
- 《孤岛惊魂6》开启免费体验12月6日推出异界DLC
- 沉寂十年之后,大宗商品对冲基金强势归来
- 全球新消息丨类银河恶魔城射击游戏《魔骑少女》现已正式上市
- 动态焦点:华硕ROG幻16 2023款曝光 或将搭载13代酷睿和RTX 40显卡
- 损失严重!苹果iPhone产量极具下滑:预计减少5%至10%:环球快看点
- 每日热门:威尔士0-3不敌英格兰!英格兰队世界杯总进球数破百
- 补贴十三年,肥了谁?废了谁?|焦点精选
- 今日播报!高性价比推荐!一线大牌15.6英寸轻薄本3499元秒
- 特斯拉开始从它降价!每千瓦时降约0.35元
- 199元!网易UU加速盒2发布:支持所有游戏主机、VR
- SE公布《浪漫沙加:吟游诗人之歌》8名主角介绍预告:每日速读
- 快讯:影驰全家桶:冬日装机,纯白平价优选,颜值实力兼具
- 保护用户不力!Meta欧洲被罚2.65亿欧元_当前要闻
- 谷歌手机广告造假 连带广告公司被FCC起诉
- RGB控制一键超频 耕升GW-SOUL软件详解
- 当前视讯!韩国罢工潮愈演愈烈!与工会谈崩后,政府下达强制开工令
- 一边办世界杯,一边狂“卖气”!卡塔尔与德国达成一份15年天然气供应协议
- 出险房企等来了红包_全球快看点
- 天天快资讯:法拉利首款SUV停止接单!已经供不应求了
- 《如龙维新极》冈田以藏介绍:沉默寡言的危险剑客
- 【独家】传闻:《使命召唤》以幽灵为主角的内容正在开发
- 《传送门RTX》12月8日发售 DLSS 3特性展示_天天快看
- 快播:苹果AirPods Pro 2耳机-500 只要1399
- 天天通讯!小米12 Pro降到2599 小米12s Ultra也只要4999
- 上财校长称40万博士生月收入仅3000元 建议提高博士生的收入_微动态
- C919大型客机获颁生产许可证_天天速读
- 天文学家痛斥:美国一卫星比天上99.8%的星星都亮
- 世界快看点丨第二春?《大镖客2》Steam在线人数超6.6万创下新高
- 世界焦点!《亚当斯一家》真人剧《星期三》豆瓣开分8.1
- 《木卫四协议》前期2个小时视频被泄露
- 每日讯息!如何在卡牌游戏里体验“满清十大酷刑”?
- 布兰妮在社交媒体疯狂输出 粉丝:她的眼神让人毛骨悚然
- 每日热文:《FF7核心RE》新预告:预购开启、12月13日正式推出
- 角逐元宇宙,索尼也来了!推出360美元可穿戴VR设备 焦点简讯
- 微软收购动视暴雪获得沙特、巴西和塞尔维亚的批准|快报
- 《瞬息全宇宙》获哥谭奖“最佳影片”