译者注:本文原文发布于 Google AI Blog,原作者 Yun-Ta Tsai / Rohit Pandey,  Software Engineers, Google Research,《Android Weekly Update》在原文基础上译制并修改。

https://cdn.substack.com/image/fetch/w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fbucketeer-e05bbc84-baa3-437e-9518-adb32be77984.s3.amazonaws.com%2Fpublic%2Fimages%2Fe5519b5d-2843-405a-bb87-20faf72d06c2_949x535.png

伴随 Pixel 5 而来的新光源

对于专业的人像摄影师来讲,利用外置闪光灯(也就是俗称的「离机闪」)或补光、聚光灯等外置补光的人造光源,往往能在减少环境光影响的同时,充分利用造出的光影效果,拍摄出更具张力的肖像照。

但对日常更多在使用智能手机拍摄人像照的普通用户来讲,让以上的专业摄影条件随时随地存在,既不现实也没有必要,但为了能让智能手机也能通过计算摄影,拍摄出媲美专业摄影师光线效果的人像照片,Google 在 Pixel 5/4a 5G 发布的同时,还公布了一项 Google Camera 新的研究成果 —— 「肖像光」(Portrait Light)功能。

https://cdn.substack.com/image/fetch/w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fbucketeer-e05bbc84-baa3-437e-9518-adb32be77984.s3.amazonaws.com%2Fpublic%2Fimages%2Fb23f7a8e-19d2-4f40-91c8-e87e379081e9_1120x633.png

具体到实现到效果而言,这其实是一个针对人像照片的后期编辑功能:用户可以用手指在照片中的人像周围拖动,从特定的角度为照片「补光」。同时这一功能会自动应用在人像模式下拍摄的照片中,当然,你也可以从相册中,手动选择含有人脸的照片来加入后期效果。

https://cdn.substack.com/image/fetch/w_1456,c_limit,f_auto,q_auto:good,fl_lossy/https%3A%2F%2Fbucketeer-e05bbc84-baa3-437e-9518-adb32be77984.s3.amazonaws.com%2Fpublic%2Fimages%2Fde1b3332-c85d-460c-b0ef-fc0aa2169976_750x1000.gif

更有 Google 风格的是,这一功能并不依赖 Pixel 手机中的某一特定硬件才能实现。目前 Google 已经为包括 Pixel 4、Pixel 4a、Pixel 4a 5G 以及 Pixel 5 推送了这一新功能,只要用户在人像模式下拍摄,算法就能自动为照片加入这种神奇的补光效果。而对于 Pixel 2/3 等较老版本 Pixel 的用户,也可以借助新版 Google Photos 中加入的这一功能,来后期编辑照片中的光线效果。

造一盏不存在的补光灯

但在这种如同魔术的效果背后,为了给照片加入一台看不见的补光灯,摆在 Google 面前,有两个问题亟待解决:一来是「如何让光源添加后看起来更加自然」而来是在 Pixel 5 的人像模式下「如何确定自动放置合成光的最佳位置」,而且这些都需要基于移动设备平台算力环境来解决。

https://cdn.substack.com/image/fetch/w_1456,c_limit,f_auto,q_auto:good,fl_lossy/https%3A%2F%2Fbucketeer-e05bbc84-baa3-437e-9518-adb32be77984.s3.amazonaws.com%2Fpublic%2Fimages%2Fb3c42f90-96ee-40b3-8a22-c4e87734e05a_318x640.gif

现实世界中有经验的摄影师依据往往都是基于经验得出的感性认知:根据对被拍摄者脸上的光线强度、方向以及柔和度来判断,同时被拍摄者也可以通过调整头部姿势来获得更好的补光效果。

为了模拟这种真实自然的补光,Google 选择加入了设计并训练新的深度学习模型,来优化新的补光算法模型,并实现上述两种不同的效果。但想要建立这样的新模型,海量的有效数据就必不可少。

如果你还对 Pixel 3 时 Google 打造的那台「弗兰肯斯『机』(Frankenphone)」还有印象的话,看到这里,你应该能意识到,在解决这种问题的方式上,一贯非常「硬核」的 Google 又要给我们整点新活了。

Google 还为这套设备特别开发了基于 Wi-Fi 通信的拍摄方案,让其实现同时拍摄

https://cdn.substack.com/image/fetch/w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fbucketeer-e05bbc84-baa3-437e-9518-adb32be77984.s3.amazonaws.com%2Fpublic%2Fimages%2F85a93e70-f5b2-4605-8b7b-7a8bfa2595ca_392x506.png

关联阅读:《为了改进单摄 Pixel 3 的人像模式,Google 造了一台「五摄怪物」》

这次,Google 为了获取训练模型的素材,同样设计了一款新的设备:在 Google LLC 与 Google Research 发表的论文LEARNING ILLMINATION FROM DIVERSE PORTRAITS中我们能看到,为了同时获取包括高动态范围(HDR)以及低动态范围(LDR)下的全向光照信息模型。Google 为 Pixel 5 设计了一个装有三个小球的拍摄架,并使用它在各种不同的场景、不同肤色的人拍摄肖像。