【摘要】 当真的是买算法送手机！不，谷歌又给了亲儿子Pixel6福利，让手机抠图也能细节头发。看这个效果，原本模糊的头发轮廓变成了纤细的样子！
当真的是买算法送手机！不，谷歌又给了亲儿子Pixel6福利，让手机抠图也能细节头发。看这个效果，原本模糊的头发轮廓变成了纤细的样子！
这样，在使用肖像模式拍照时，避免了人物与虚拟背景的分离，使人物照片的深度感更加逼真。四舍五入，这不就是用单反拍照吗？
在介绍最新的方法之前，让我们了解一下过去手机肖像模式的照片拍摄是如何实现的。传统的方法是使用二进制来划分图像，然后虚拟分离的背景，在视觉上产生一种深度感，从而突出角色的主体。
虽然视觉效果非常明显，但在细节上的表现还不够强大。因此，谷歌将经常用于电影制作和摄影修复的Alpha盖移动到手机上，并提出了一个叫做Portraitmatting的全新神经网络。
其中，主要网络是MobileNetv3。这是一个参数少、计算量小、推理时间短的轻量级网络，在OCR、YOLOV3等任务中非常常见。具体结构如下:
在推理中，Portraitmatting首先输入RGB图像和低分辨率Alpha屏蔽，用Mobilenetv3预测高分辨率Alpha屏蔽。然后使用浅层网络和一系列残余块，进一步提高Alpha屏蔽的精度。
这种浅层网络更依赖于低层特征，从而获得高分辨率的结构特征，从而预测每个像素的Alpha透明度。
这样，模型就可以在初始输入时细化Alpha遮罩，从而达到从上述细节到头发的抠图效果。谷歌表示，神经网络Portraitmatting可以在Pixel6上使用Tensorflowlite。
此外，考虑到使用Alpha覆盖抠图，背光过强往往会导致细节处理不好。谷歌使用体积视频捕捉方案Therelightables生成高质量的数据集。
这是谷歌在2019年提出的一个系统，由331个可编程LED灯和100编程LED灯和大约100个体积视频。与一般的数据集相比，该方法可以匹配角色主体的照明条件和背景，从而呈现出更现实的效果。
而且这种方法也能满足不同场景中放置人像时光线变化的需要。
在不同场景中放置肖像时，满足光变化的需要。
值得一提的是，谷歌在这种方法中也采用了监督学习的策略。这是因为神经网络的准确性和泛化能力需要提高，而纯手工标记的工作量太大。
因此，研究人员利用标记好的数据集来训练神经网络，从而提高模型泛化能力。
其实谷歌的传统艺能是用算法优化摄影效果。比如Pixel4，用算法拍星空。
当相机启动时，该功能可以不按快门连续捕捉图像，并缓存最近保存的9张图像。这些照片将与按下快门后的图像一起处理，最终获得最佳图像。
同时，它还允许Pixel在夜间拍照时不要像其他手机那样长时间停留。谷歌还将这些功能整合到一个应用程序上，适用于各种Android手机，因为它不依赖硬件来提高摄影效果。如果你感兴趣，你可以尝试或分享你的经验~。