谷歌又买算法送手机了 最新方法让背景虚化细节到头发丝
当真是买算法送手机!
这不,谷歌又给“亲儿子”Pixel 6塞福利了,让手机抠图也能细节到头发丝。
看这效果,原本模糊的头发轮廓,咻地一下,就变成了纤毫毕现的样子!
连发丝之间的缝隙也能精准抠到。
这样一来,就避免了使用人像模式拍照时人物与虚化背景割裂的情况,让人物照片的纵深感更加逼真。
四舍五入一下,这不就是手握单反拍照?(手动狗头)
Alpha遮罩+监督学习
在介绍最新的方法之前,先来了解一下过去手机的人像模式拍照到底是怎么实现的。
传统方法是使用二进制将图像分割,然后对分离出的背景进行虚化,在视觉上产生一种纵深感,由此也就能更加突出人物主体了。
虽然带来的视觉效果非常明显,但是在细节上的表现还不够强大。
由此,谷歌将常用于电影制作和摄影修图的Alpha遮罩搬到了手机上,提出了一个全新的神经网络,名叫“Portrait matting”。
其中,主干网络是MobileNetV3。
这是一个轻量级网络,特点是参数少、计算量小、推理时间短,在OCR、YOLO v3等任务上非常常见,具体结构长这样:
在推理时,Portrait matting首先将RGB图像和低分辨率的Alpha遮罩作为输入,用MobileNetV3来预测分辨率更高的Alpha遮罩。
然后再利用一个浅层网络和一系列残差块,来进一步提升Alpha遮罩的精细度。
其中,这个浅层网络更加依赖于低层特征,由此可以得到高分辨率的结构特征,从而预测出每个像素的Alpha透明度。
通过这种方式,模型能够细化初始输入时的Alpha遮罩,也就实现了如上细节到头发丝的抠图效果。谷歌表示,神经网络Portrait matting可以使用Tensorflow Lite在Pixel 6 上运行。
此外,考虑到使用Alpha遮罩抠图时,背光太强往往会导致细节处理不好。
谷歌使用了体积视频捕捉方案The Relightables来生成高质量的数据集。
这是谷歌在2019年提出的一个系统,由一个球形笼子组成,装有331个可编程LED灯和大约100个用于捕获体积视频的摄像机。
相比于一般的数据集,这种方法可以让人物主体的光照情况与背景相匹配,由此也就能呈现更为逼真的效果。
而且这种方法还能满足人像被放置在不同场景中时,光线变化的需求。
值得一提的,谷歌还在这一方法中使用了监督学习的策略。
这是因为神经网络在抠图上的准确度和泛化能力还有待提升,而纯人工标注的工作量又太大了。
所以,研究人员利用标记好的数据集来训练神经网络,从而大量数据中来提高模型泛化能力。
One More Thing
用算法来优化摄影效果,其实是谷歌的传统艺能了。
比如Pixel 4中,就使用算法来拍摄星空。
HDR+算法更不必说,曾经引发过大众热议。
这一功能可以在相机启动时、没有按快门的情况下连续捕捉图像,并且会缓存最近保存的9张。这些照片将会与按下快门后的图像一并处理,最终得到一张最优的图像。
同时它还能让Pixel在夜间模式下拍照时,不用像其他手机那样长时间停留。
由于提升摄影效果不靠硬件,谷歌也将这些功能整合到一个APP上,适用于各种安卓手机。
感兴趣的小伙伴,可以去试玩看看or分享自己的体验~
相关推荐:
最新新闻:
- 怎么通过回收站还原误删文件?回收站还原误删文件方法
- 如何解决Foxmail邮箱不能发送邮件问题?Foxmail邮箱不能发送邮件解决方法
- GrooveMonitor.exe是什么进程?GrooveMonitor.exe可以禁用卸载吗?
- Svchost.exe是什么?Svchost病毒清除办法
- win7系统如何设置Guest账户密码?Guest账户密码设置方法
- WebFreer怎么用?webfree浏览器使用方法
- GG修改器如何修改与冻结应用数值?修改与冻结应用数值操作步骤
- RMVB是什么意思?rmvb解析
- 有线宽带路由器怎么使用?有线宽带路由器使用方法
- 豆丁网上的文档怎么复制?豆丁网上的文档复制方法
- 安全更新补丁怎么下载?win7系统安全更新补丁KB4022722下载地址
- au_.exe是什么进程?au_.exe文件怎么删除?
- 卡盟是什么?为什么会有这么多的卡盟出现呢?
- cmd.exe是什么?cmd.exe有什么作用?
- 如何注册电脑上windows live的ID?windows live的ID注册步骤
- 如何解决Excel数据透视表无法分组问题?Excel数据透视表无法分组解决方法
- 黑莓10怎么使用代理?黑莓10使用代理的方法
- 如何使用网易云音乐Sati空间功能?网易云音乐Sati空间功能使用方法
- sqlwriter.exe进程是什么?sqlwriter.exe进程可以关闭吗?
- index.dat文件如何查看?使用工具查看index.dat文件
- 即时看!北约秘书长:乌克兰总有一天会加入北约,俄罗斯没有否决权
- 每日速看!《传送门》RTX版DLSS 3特性展示:开启前后的画面、帧数对比
- 58岁张曼玉参加纪念梅艳芳活动 穿V领碎花裙依旧优雅迷人
- 《漫威暗夜之子》官方发布预告片现已推出! 每日速讯
- 环球微头条丨歌手Hozier将参与本届TGA 与《战神》作曲家带来表演
- 《壮志凌云2》限时重返院线上映 12月2日至15日:天天看热讯
- 天天观天下!B站否认会推出贴片广告 陈睿回应接手B站游戏业务
- 天天快资讯丨亚马逊计划年投入10亿美元用于电影制作 推出12~15部
- 全球球精选!闲鱼卖二手,破财难消灾
- 《圣斗士星矢》真人电影先导预告和海报 过于霸气:环球即时
- FS社员工称工资不高有加班 但工作像玩黑魂有成就感:今日关注
- 热门:尹锡悦准备“量身定制”福利以吸引特斯拉超级工厂入驻韩国
- TI后更新来了 《DOTA2》7.32d平衡性更新上线:今日聚焦
- 热点评!《鬼怪》编剧新作 宋慧乔与前夫宋仲基“复仇之战”
- 分不清“事实与观点”的讨论,只是在浪费时间
- 出厂即6GHz i9-13900KS上架了 价格很贵
- 天天要闻:4款N卡停产 以后新卡只能买30系和40系了
- 环球动态:NUC玩跨界!英特尔公版NUC X15游戏本预售5999元
- 冠脉支架集采提价超25%,医药行业预期改变了吗?| 见智研究-全球焦点
- 《孤岛惊魂6》开启免费体验12月6日推出异界DLC
- 沉寂十年之后,大宗商品对冲基金强势归来
- 全球新消息丨类银河恶魔城射击游戏《魔骑少女》现已正式上市
- 动态焦点:华硕ROG幻16 2023款曝光 或将搭载13代酷睿和RTX 40显卡
- 损失严重!苹果iPhone产量极具下滑:预计减少5%至10%:环球快看点
- 每日热门:威尔士0-3不敌英格兰!英格兰队世界杯总进球数破百
- 补贴十三年,肥了谁?废了谁?|焦点精选
- 今日播报!高性价比推荐!一线大牌15.6英寸轻薄本3499元秒
- 特斯拉开始从它降价!每千瓦时降约0.35元
- 199元!网易UU加速盒2发布:支持所有游戏主机、VR
- SE公布《浪漫沙加:吟游诗人之歌》8名主角介绍预告:每日速读
- 快讯:影驰全家桶:冬日装机,纯白平价优选,颜值实力兼具
- 保护用户不力!Meta欧洲被罚2.65亿欧元_当前要闻
- 谷歌手机广告造假 连带广告公司被FCC起诉
- RGB控制一键超频 耕升GW-SOUL软件详解
- 当前视讯!韩国罢工潮愈演愈烈!与工会谈崩后,政府下达强制开工令
- 一边办世界杯,一边狂“卖气”!卡塔尔与德国达成一份15年天然气供应协议
- 出险房企等来了红包_全球快看点
- 天天快资讯:法拉利首款SUV停止接单!已经供不应求了
- 《如龙维新极》冈田以藏介绍:沉默寡言的危险剑客
- 【独家】传闻:《使命召唤》以幽灵为主角的内容正在开发
- 《传送门RTX》12月8日发售 DLSS 3特性展示_天天快看
- 快播:苹果AirPods Pro 2耳机-500 只要1399
- 天天通讯!小米12 Pro降到2599 小米12s Ultra也只要4999
- 上财校长称40万博士生月收入仅3000元 建议提高博士生的收入_微动态
- C919大型客机获颁生产许可证_天天速读
- 天文学家痛斥:美国一卫星比天上99.8%的星星都亮
- 世界快看点丨第二春?《大镖客2》Steam在线人数超6.6万创下新高
- 世界焦点!《亚当斯一家》真人剧《星期三》豆瓣开分8.1
- 《木卫四协议》前期2个小时视频被泄露
- 每日讯息!如何在卡牌游戏里体验“满清十大酷刑”?
- 布兰妮在社交媒体疯狂输出 粉丝:她的眼神让人毛骨悚然
- 每日热文:《FF7核心RE》新预告:预购开启、12月13日正式推出
- 角逐元宇宙,索尼也来了!推出360美元可穿戴VR设备 焦点简讯
- 微软收购动视暴雪获得沙特、巴西和塞尔维亚的批准|快报
- 《瞬息全宇宙》获哥谭奖“最佳影片”