Google Pixel 3和计算摄影: 软件是如何推动这一点的

谷歌杰出工程师马克·莱沃伊 (Marc Levoy) 表示，目前正朝着智能手机上的软件定义摄像头方向发展，而不仅仅是依靠固定硬件。他目前领导着负责像素智能手机上的HDR、肖像模式等模式的团队。

在通过视频电话会议进行的互动中，Levoy表示，相机软件的趋势是结合帧的爆发或所谓的计算摄影。谷歌并不是唯一一个依赖计算摄影的玩家，苹果和iphone XS、iphone XR也是如此。

智能手机上的计算摄影基本上结合了不同曝光水平的多个帧，以确保照片获得最佳效果。“还有一个向机器学习的方向，它正在取代传统的算法。在机器学习中，您拥有更好的训练数据，从而提高了任务的准确性。”Levoy解释说。

对于pixel手机，谷歌已经表明，智能手机摄影并不需要太多额外的硬件来提供出色的效果。与pixel 2一样，pixel 3继续使用单个后置摄像头，该摄像头也支持纵向模式。

今年的最新消息是，Google增加了超级变焦，夜视模式等功能，以改善摄影效果。

然而，Levoy确实指出，仅仅因为软件在拍摄更好的照片时正在改进，这意味着硬件将是无关紧要的。“硬件与计算摄影是分开的。是的，这永远很重要。例如，光圈将控制您可以获得多少超变焦。如果使用的镜头不好，则软件会产生像差。光学确实很重要，”他在谈到这个问题时说。

在夜间视线模式下，Levoy解释说，按下快门后，相机最多可捕获15帧。但是，Night Sight还要求用户在拍照时保持额外的静止。“曝光率真的因你的静止程度而异。如果你很安静，或者把手机放在三脚架上，它会延长曝光时间，“他解释说。

在15帧的拍摄中，Levoy表示这是任意选择的数字，但是如果相机检测到用户非常静止或手机在三脚架上，则会减少帧数，而是增加曝光时间每次拍摄的长度。当然，这也意味着最终图像需要花费额外的几秒钟来处理并显示给用户。他指出: “夜景还考虑了照片中的运动计量或运动，以确保获得最佳效果。”

Levoy还提到Night Sight对于pixel 3手机来说是一个相当晚的发展。正式地，该功能在pixel 3发布近一个月后推出。

虽然软件驱动的方法在谷歌提供出色的结果方面奏效了，但还是有权衡取舍的。例如，在pixel手机中，肖像模式不像其他手机那样是实时的。相反，纵向模式图像需要花费几秒钟的时间来处理，然后在用户单击镜头后显示。Levoy表示，pixel没有实现实时散景的原因是硬件仍然不够快。

“我不知道硬件会有多快。我们可以尝试在CpU或专用硬件上实现它。然而，我们以软件为中心的方法也有优势。我们可以快速响应，并在启动后对其进行更新。当然，权衡是我们的软件计算效率不如硬件方法。”他承认。

实际上，该软件方法还为Google pixel 3的超级变焦功能提供了动力，而不是像其他播放器一样依赖2倍或4倍的光学变焦镜头。那么，未来pixel手机上的辅助镜头呢？毕竟，pixel 3上的前置摄像头现在也具有广角镜头。尽管Levoy表示他无法对未来的产品发表评论，但他确实承认，如果有另一个传感器，则可以获得更高的变焦分辨率。

他说: “今年我们只有一台相机，这无疑激励我们在计算超级变焦方面非常努力。”

软件可能越来越多地推动手机上的静态摄影，但当涉及到视频时，这仍然是一个未开发的领域，需要工作。

Levoy说，依靠类似的软件驱动的视频技术时，主要问题是计算时间和所需的动力。“如果你想尝试在软件中做出反应，那么你需要计算能力。计算视频的限制是计算能力，“他说。