wp7吧 关注：845,609贴子：66,584,185
为什么低光摄影很难？
拍摄昏暗场景的任何人都会熟悉图像噪声，这看起来像是像素到像素的亮度随机变化。对于具有小镜头和传感器的智能手机相机，噪声的主要来源是进入镜头的光子数量的自然变化，称为散粒噪声。每个相机都受此影响，即使完美的传感器也会存在。然而，它们不是，因此第二噪声源是在将光照射到每个像素时产生的电子电荷转换为数字时引入的随机误差，称为读取噪声。这些和其他随机源有助于整体信噪比（SNR），衡量图像从这些亮度变化中脱颖而出的程度。幸运的是，SNR随着曝光时间的平方根（或更快）而上升，因此拍摄更长时间曝光会产生更清晰的画面。但是很难保持足够长的时间才能在昏暗的光线下拍出好照片，无论你拍摄什么，也可能不会保持不动。
2014年，我们推出了HDR +，一种计算摄影技术，通过捕获多帧，在软件中对齐帧并将它们合并在一起来改善这种情况。HDR +的主要目的是改善动态范围，这意味着能够拍摄具有各种亮度的场景（如日落或背光肖像）。所有代的Pixel手机都使用HDR +。事实证明，合并多张图片还可以降低散粒噪声和读取噪声的影响，因此可以改善昏暗光线下的信噪比。即使您的手抖动并且拍摄对象移动，为了使这些照片保持清晰，我们也会使用短曝光。我们也拒绝那些我们找不到良好对齐的帧。这使得HDR +即使在收集更多光线时也能产生清晰的图像。
拍摄昏暗场景的任何人都会熟悉图像噪声，这看起来像是像素到像素的亮度随机变化。对于具有小镜头和传感器的智能手机相机，噪声的主要来源是进入镜头的光子数量的自然变化，称为散粒噪声。每个相机都受此影响，即使完美的传感器也会存在。然而，它们不是，因此第二噪声源是在将光照射到每个像素时产生的电子电荷转换为数字时引入的随机误差，称为读取噪声。这些和其他随机源有助于整体信噪比（SNR），衡量图像从这些亮度变化中脱颖而出的程度。幸运的是，SNR随着曝光时间的平方根（或更快）而上升，因此拍摄更长时间曝光会产生更清晰的画面。但是很难保持足够长的时间才能在昏暗的光线下拍出好照片，无论你拍摄什么，也可能不会保持不动。
2014年，我们推出了HDR +，一种计算摄影技术，通过捕获多帧，在软件中对齐帧并将它们合并在一起来改善这种情况。HDR +的主要目的是改善动态范围，这意味着能够拍摄具有各种亮度的场景（如日落或背光肖像）。所有代的Pixel手机都使用HDR +。事实证明，合并多张图片还可以降低散粒噪声和读取噪声的影响，因此可以改善昏暗光线下的信噪比。即使您的手抖动并且拍摄对象移动，为了使这些照片保持清晰，我们也会使用短曝光。我们也拒绝那些我们找不到良好对齐的帧。这使得HDR +即使在收集更多光线时也能产生清晰的图像。
暗到底是多暗？
但是，如果捕获和合并多个帧会在低光照条件下产生更清晰的图像，为什么不使用HDR +合并几十帧，这样我们才能在黑暗中有效地看到？好吧，让我们从定义“黑暗”的含义开始吧。当摄影师谈论场景的光线水平时，他们通常以勒克斯测量它。从技术上讲，勒克斯是每单位面积到达表面的光量，以每平方米的流明数来衡量。
有个表格我就不翻译了
拍摄单张照片的智能手机相机30勒克斯的时候开始挣扎。捕获和合并多张图片的手机（如HDR +所做的那样）可以很好地降低到3勒克斯，但在较暗的场景中表现不佳（下面更多），依赖于使用他们的闪光灯。凭借夜视，我们的目标是使用智能手机，单个快门按钮和无LED闪光灯改善3勒克斯和0.3勒克斯之间的拍照。为了使这个功能很好地工作包括几个关键元素，其中最重要的是捕获更多的光子。
捕获数据
虽然延长每帧的曝光时间会增加SNR并使图像更清晰，但遗憾的是它引入了两个问题。首先，Pixel手机上的默认拍照模式使用零快门延迟（ZSL）协议，它本质上限制了曝光时间。一旦打开相机应用程序，它就会开始捕获图像帧并将其存储在循环缓冲区中，该缓冲区会不断擦除旧帧以为新帧提供空间。按下快门按钮时，相机会将最近的9帧或15帧发送到HDR +或Super Res Zoom软件。这意味着您可以准确捕捉到您想要的那一刻 - 因此名称为零快门滞后。但是，由于我们在屏幕上显示这些相同的图像以帮助您瞄准相机，因此无论场景多么暗淡，HDR +都会将曝光限制在最多66毫秒，从而使我们的取景器能够保持至少15帧的显示速率第二。对于需要更长时间曝光的调光场景，Night Sight使用正快门滞后（PSL），等到您开始拍摄图像之前按下快门按钮之后。使用PSL意味着您需要在按下快门后保持静止一小段时间，但它允许使用更长的曝光，从而在更低的亮度水平下改善SNR。
增加每帧曝光时间的第二个问题是运动模糊，这可能是由于握手或移动场景中的物体造成的。光学图像稳定（OIS）（存在于像素2和3上）可以减少握手的适度曝光时间（最多约1/8秒），但对于长时间曝光或移动物体无效。为了对抗OIS无法修复的运动模糊，Pixel 3的默认拍照模式使用“运动测光”，其中包括使用光流测量最近的场景运动并选择最小化此模糊的曝光时间。像素1和2在默认模式下不使用动态测光，但是所有三部手机都在夜视模式下使用该技术，如果没有太多动作，则每帧曝光时间增加到333毫秒。对于没有OIS的Pixel 1，我们增加了曝光时间（对于没有OIS的自拍相机，我们增加了一点时间）。如果相机正在稳定（例如靠墙或使用三脚架），则每帧的曝光增加到一秒钟。除了改变每帧曝光外，我们还会改变拍摄的帧数，如果手机放在三脚架上则为6，如果是手持设备则最多为15。这些帧限制可防止用户疲劳（并且需要取消按钮）。因此，根据您拥有的Pixel手机，相机选择，手抖，场景运动和场景亮度，Night Sight每帧捕获15帧，每帧1/15秒（或更少），或6帧每帧1秒（这个真的行吗），或其间任何张数。
但是，如果捕获和合并多个帧会在低光照条件下产生更清晰的图像，为什么不使用HDR +合并几十帧，这样我们才能在黑暗中有效地看到？好吧，让我们从定义“黑暗”的含义开始吧。当摄影师谈论场景的光线水平时，他们通常以勒克斯测量它。从技术上讲，勒克斯是每单位面积到达表面的光量，以每平方米的流明数来衡量。
有个表格我就不翻译了
拍摄单张照片的智能手机相机30勒克斯的时候开始挣扎。捕获和合并多张图片的手机（如HDR +所做的那样）可以很好地降低到3勒克斯，但在较暗的场景中表现不佳（下面更多），依赖于使用他们的闪光灯。凭借夜视，我们的目标是使用智能手机，单个快门按钮和无LED闪光灯改善3勒克斯和0.3勒克斯之间的拍照。为了使这个功能很好地工作包括几个关键元素，其中最重要的是捕获更多的光子。
捕获数据
虽然延长每帧的曝光时间会增加SNR并使图像更清晰，但遗憾的是它引入了两个问题。首先，Pixel手机上的默认拍照模式使用零快门延迟（ZSL）协议，它本质上限制了曝光时间。一旦打开相机应用程序，它就会开始捕获图像帧并将其存储在循环缓冲区中，该缓冲区会不断擦除旧帧以为新帧提供空间。按下快门按钮时，相机会将最近的9帧或15帧发送到HDR +或Super Res Zoom软件。这意味着您可以准确捕捉到您想要的那一刻 - 因此名称为零快门滞后。但是，由于我们在屏幕上显示这些相同的图像以帮助您瞄准相机，因此无论场景多么暗淡，HDR +都会将曝光限制在最多66毫秒，从而使我们的取景器能够保持至少15帧的显示速率第二。对于需要更长时间曝光的调光场景，Night Sight使用正快门滞后（PSL），等到您开始拍摄图像之前按下快门按钮之后。使用PSL意味着您需要在按下快门后保持静止一小段时间，但它允许使用更长的曝光，从而在更低的亮度水平下改善SNR。
增加每帧曝光时间的第二个问题是运动模糊，这可能是由于握手或移动场景中的物体造成的。光学图像稳定（OIS）（存在于像素2和3上）可以减少握手的适度曝光时间（最多约1/8秒），但对于长时间曝光或移动物体无效。为了对抗OIS无法修复的运动模糊，Pixel 3的默认拍照模式使用“运动测光”，其中包括使用光流测量最近的场景运动并选择最小化此模糊的曝光时间。像素1和2在默认模式下不使用动态测光，但是所有三部手机都在夜视模式下使用该技术，如果没有太多动作，则每帧曝光时间增加到333毫秒。对于没有OIS的Pixel 1，我们增加了曝光时间（对于没有OIS的自拍相机，我们增加了一点时间）。如果相机正在稳定（例如靠墙或使用三脚架），则每帧的曝光增加到一秒钟。除了改变每帧曝光外，我们还会改变拍摄的帧数，如果手机放在三脚架上则为6，如果是手持设备则最多为15。这些帧限制可防止用户疲劳（并且需要取消按钮）。因此，根据您拥有的Pixel手机，相机选择，手抖，场景运动和场景亮度，Night Sight每帧捕获15帧，每帧1/15秒（或更少），或6帧每帧1秒（这个真的行吗），或其间任何张数。
对齐和合并
平均帧以减少成像噪声的想法与数字成像一样古老。在天文摄影中，它被称为曝光堆叠。虽然这项技术本身很简单，但是当手持相机时，困难的部分就是正确对齐。我们在这方面的努力始于2010年的一款名为Synthcam的应用程序。这个应用程序连续拍摄图片，对齐并以低分辨率实时合并它们，并显示合并后的结果，在您观看时稳定变得更干净。
Night Sight使用类似的原理，尽管传感器分辨率完全且不是实时的。在像素1和2上，我们使用HDR +的合并算法，修改和重新调整，以加强其检测和拒绝未对齐的帧的能力，即使在非常嘈杂的场景中。在Pixel 3上我们使用Super Res Zoom，同样重新调整，无论你是否缩放。虽然后者是为超分辨率而开发的，但它也可以降低噪音，因为它可以将多个图像平均在一起。对于某些夜间场景，Super Res Zoom可以产生比HDR +更好的效果，但它需要像素3的更快处理器。
顺便说一下，所有这些都会在几秒钟内在手机上发生。如果您快速点击带您进入照片流的图标（等到捕获完成！），您可以在HDR +或Super Res Zoom完成其工作时观看您的图片“开发”。
平均帧以减少成像噪声的想法与数字成像一样古老。在天文摄影中，它被称为曝光堆叠。虽然这项技术本身很简单，但是当手持相机时，困难的部分就是正确对齐。我们在这方面的努力始于2010年的一款名为Synthcam的应用程序。这个应用程序连续拍摄图片，对齐并以低分辨率实时合并它们，并显示合并后的结果，在您观看时稳定变得更干净。
Night Sight使用类似的原理，尽管传感器分辨率完全且不是实时的。在像素1和2上，我们使用HDR +的合并算法，修改和重新调整，以加强其检测和拒绝未对齐的帧的能力，即使在非常嘈杂的场景中。在Pixel 3上我们使用Super Res Zoom，同样重新调整，无论你是否缩放。虽然后者是为超分辨率而开发的，但它也可以降低噪音，因为它可以将多个图像平均在一起。对于某些夜间场景，Super Res Zoom可以产生比HDR +更好的效果，但它需要像素3的更快处理器。
顺便说一下，所有这些都会在几秒钟内在手机上发生。如果您快速点击带您进入照片流的图标（等到捕获完成！），您可以在HDR +或Super Res Zoom完成其工作时观看您的图片“开发”。
其他挑战
虽然上面描述的基本思路听起来很简单，但是当开发Night Sight时没有太多光线被证明具有挑战性时会有一些问题：
1.自动白平衡（AWB）在低光照条件下失败。
人类擅长色彩恒定 - 即使在彩色照明下（或佩戴太阳镜时）也能正确感知事物的颜色。但是当我们在一种照明下拍照并在不同的光线下观看时，这个过程就会崩溃; 照片看起来会给我们着色。为了校正这种感知效果，相机会调整图像的颜色，以部分或完全补偿照明的主色（有时称为色温）），有效地移动图像中的颜色，使其看起来好像场景被中性（白色）光照亮。此过程称为自动白平衡（AWB）。
问题在于白平衡是数学家称之为不适定问题的。这样的雪真的是蓝色的吗？还是白色的雪被蓝天照亮？可能是后者。这种模糊性使白平衡变得困难。在非夜视模式下使用的AWB算法很好，但在非常昏暗或强烈色彩的照明（想想钠蒸汽灯）中，很难确定照明的颜色。
为了解决这些问题，我们开发了一种基于学习的AWB算法经过培训，可以区分白平衡的图像和不平衡的图像。当捕获的图像不平衡时，算法可以建议如何移动其颜色以使照明看起来更中性。训练此算法需要使用Pixel手机拍摄各种场景，然后在彩色校准显示器上查看照片时手动校正其白平衡。您可以通过使用Pixel 3比较使用两种方式捕获的相同低光场景来查看此算法的工作原理：
左： Pixel的默认相机模式下的白平衡器不知道温哥华海滨这个小屋的照明黄色（这里是全分辨率图像）。右图：我们基于学习的AWB算法做得更好（此处为全分辨率图像）。
虽然上面描述的基本思路听起来很简单，但是当开发Night Sight时没有太多光线被证明具有挑战性时会有一些问题：
1.自动白平衡（AWB）在低光照条件下失败。
人类擅长色彩恒定 - 即使在彩色照明下（或佩戴太阳镜时）也能正确感知事物的颜色。但是当我们在一种照明下拍照并在不同的光线下观看时，这个过程就会崩溃; 照片看起来会给我们着色。为了校正这种感知效果，相机会调整图像的颜色，以部分或完全补偿照明的主色（有时称为色温）），有效地移动图像中的颜色，使其看起来好像场景被中性（白色）光照亮。此过程称为自动白平衡（AWB）。
问题在于白平衡是数学家称之为不适定问题的。这样的雪真的是蓝色的吗？还是白色的雪被蓝天照亮？可能是后者。这种模糊性使白平衡变得困难。在非夜视模式下使用的AWB算法很好，但在非常昏暗或强烈色彩的照明（想想钠蒸汽灯）中，很难确定照明的颜色。
为了解决这些问题，我们开发了一种基于学习的AWB算法经过培训，可以区分白平衡的图像和不平衡的图像。当捕获的图像不平衡时，算法可以建议如何移动其颜色以使照明看起来更中性。训练此算法需要使用Pixel手机拍摄各种场景，然后在彩色校准显示器上查看照片时手动校正其白平衡。您可以通过使用Pixel 3比较使用两种方式捕获的相同低光场景来查看此算法的工作原理：
左： Pixel的默认相机模式下的白平衡器不知道温哥华海滨这个小屋的照明黄色（这里是全分辨率图像）。右图：我们基于学习的AWB算法做得更好（此处为全分辨率图像）。
2.太暗无法看到的场景的色调映射。
夜景的目标是拍摄如此黑暗的场景照片，让你无法用自己的眼睛清楚地看到它们 - 几乎就像一个超级大国！一个相关的问题是，在非常昏暗的照明中，人类不再看到颜色，因为我们的视网膜中的视锥细胞停止运作，只留下杆细胞，这不能区分不同波长的光。夜晚的场景仍然丰富多彩; 我们只是看不到他们的颜色。我们希望Night Sight图片色彩丰富 - 这是超级大国的一部分，但有另一个潜在的问题。最后，我们的杆状细胞具有低空间敏锐度，这就是为什么晚上看起来模糊不清的原因。我们希望Night Sight图片清晰，比夜晚更能看到细节。
例如，如果你将一个数码单反相机放在三脚架上并进行很长时间的曝光 - 几分钟，或者将几个较短的曝光叠加在一起 - 你可以使夜间看起来像白天。阴影将有细节，场景将是丰富多彩和锐利的。看下面的照片，用DSLR拍摄; 它必须是夜晚，因为你可以看到星星，但草是绿色的，天空是蓝色的，月亮从树上投下阴影，看起来像太阳投射的阴影。这是一个很好的效果，但它并不总是你想要的，如果你和朋友分享照片，他们会在你拍摄它时感到困惑。
优胜美地山谷在夜间，佳能数码单反相机，28毫米f / 4镜头，3分钟曝光，ISO 100.这是夜晚，因为你可以看到星星，但它看起来像白天（这里的是全分辨率图像）
夜景的目标是拍摄如此黑暗的场景照片，让你无法用自己的眼睛清楚地看到它们 - 几乎就像一个超级大国！一个相关的问题是，在非常昏暗的照明中，人类不再看到颜色，因为我们的视网膜中的视锥细胞停止运作，只留下杆细胞，这不能区分不同波长的光。夜晚的场景仍然丰富多彩; 我们只是看不到他们的颜色。我们希望Night Sight图片色彩丰富 - 这是超级大国的一部分，但有另一个潜在的问题。最后，我们的杆状细胞具有低空间敏锐度，这就是为什么晚上看起来模糊不清的原因。我们希望Night Sight图片清晰，比夜晚更能看到细节。
例如，如果你将一个数码单反相机放在三脚架上并进行很长时间的曝光 - 几分钟，或者将几个较短的曝光叠加在一起 - 你可以使夜间看起来像白天。阴影将有细节，场景将是丰富多彩和锐利的。看下面的照片，用DSLR拍摄; 它必须是夜晚，因为你可以看到星星，但草是绿色的，天空是蓝色的，月亮从树上投下阴影，看起来像太阳投射的阴影。这是一个很好的效果，但它并不总是你想要的，如果你和朋友分享照片，他们会在你拍摄它时感到困惑。
优胜美地山谷在夜间，佳能数码单反相机，28毫米f / 4镜头，3分钟曝光，ISO 100.这是夜晚，因为你可以看到星星，但它看起来像白天（这里的是全分辨率图像）
现在的人都只知道压高光 细节吊打 高光不如也是垃圾 毕竟高光是一眼差距（其实小米的超夜的压高光太暴力反而不好）
