译者注:本文原文发布于 Google AI Blog,原作者 Yun-Ta Tsai / Rohit Pandey, Software Engineers, Google Research,《Android Weekly Update》在原文基础上译制并修改。
对于专业的人像摄影师来讲,利用外置闪光灯(也就是俗称的「离机闪」)或补光、聚光灯等外置补光的人造光源,往往能在减少环境光影响的同时,充分利用造出的光影效果,拍摄出更具张力的肖像照。
但对日常更多在使用智能手机拍摄人像照的普通用户来讲,让以上的专业摄影条件随时随地存在,既不现实也没有必要,但为了能让智能手机也能通过计算摄影,拍摄出媲美专业摄影师光线效果的人像照片,Google 在 Pixel 5/4a 5G 发布的同时,还公布了一项 Google Camera 新的研究成果 —— 「肖像光」(Portrait Light)功能。
具体到实现到效果而言,这其实是一个针对人像照片的后期编辑功能:用户可以用手指在照片中的人像周围拖动,从特定的角度为照片「补光」。同时这一功能会自动应用在人像模式下拍摄的照片中,当然,你也可以从相册中,手动选择含有人脸的照片来加入后期效果。
更有 Google 风格的是,这一功能并不依赖 Pixel 手机中的某一特定硬件才能实现。目前 Google 已经为包括 Pixel 4、Pixel 4a、Pixel 4a 5G 以及 Pixel 5 推送了这一新功能,只要用户在人像模式下拍摄,算法就能自动为照片加入这种神奇的补光效果。而对于 Pixel 2/3 等较老版本 Pixel 的用户,也可以借助新版 Google Photos 中加入的这一功能,来后期编辑照片中的光线效果。
但在这种如同魔术的效果背后,为了给照片加入一台看不见的补光灯,摆在 Google 面前,有两个问题亟待解决:一来是「如何让光源添加后看起来更加自然」而来是在 Pixel 5 的人像模式下「如何确定自动放置合成光的最佳位置」,而且这些都需要基于移动设备平台算力环境来解决。
现实世界中有经验的摄影师依据往往都是基于经验得出的感性认知:根据对被拍摄者脸上的光线强度、方向以及柔和度来判断,同时被拍摄者也可以通过调整头部姿势来获得更好的补光效果。
为了模拟这种真实自然的补光,Google 选择加入了设计并训练新的深度学习模型,来优化新的补光算法模型,并实现上述两种不同的效果。但想要建立这样的新模型,海量的有效数据就必不可少。
如果你还对 Pixel 3 时 Google 打造的那台「弗兰肯斯『机』(Frankenphone)」还有印象的话,看到这里,你应该能意识到,在解决这种问题的方式上,一贯非常「硬核」的 Google 又要给我们整点新活了。
Google 还为这套设备特别开发了基于 Wi-Fi 通信的拍摄方案,让其实现同时拍摄
关联阅读:《为了改进单摄 Pixel 3 的人像模式,Google 造了一台「五摄怪物」》
这次,Google 为了获取训练模型的素材,同样设计了一款新的设备:在 Google LLC 与 Google Research 发表的论文《LEARNING ILLMINATION FROM DIVERSE PORTRAITS》中我们能看到,为了同时获取包括高动态范围(HDR)以及低动态范围(LDR)下的全向光照信息模型。Google 为 Pixel 5 设计了一个装有三个小球的拍摄架,并使用它在各种不同的场景、不同肤色的人拍摄肖像。