屏蔽泵厂家
免费服务热线

Free service

hotline

010-00000000
屏蔽泵厂家
热门搜索:
技术资讯
当前位置:首页 > 技术资讯

【消息】单摄像头的Pixel2凭什么在拍照上碾压iPhone8

发布时间:2020-12-25 17:25:20 阅读: 来源:屏蔽泵厂家

Google亲儿子Pixel 2系列一经发布,拍照效果的好评就已铺天盖地。这款手机在DxOMark手机拍照评分榜上碾压iPhone 8和Galaxy Note 8,拿下这个榜单的史上最高分:98分。

拍照真的有这么好?说Pixel 2系列拍照很“好”,主要体现在以下两点:

一是虽然没有时下流行的双摄像头,却可以实现背景虚化的人像模式;

二是凭借HDR+,在弱光或者光线强弱差异明显的情况下也能还原出丰富的细节。

关于人像模式背后的机器学习,Google今天在官方博客上发文详解,另外还宣布了一点与HDR+相关的小惊喜。

单摄如何搞定背景虚化

和iPhone等对手一样,背景虚化应用在“人像模式”的拍照中。呐,下面这张图就很直观了。

没有经过人像模式处理(左)、经过处理后(右)的同一张HDR+照片

Pixel 2上的人像模式到底是如何加工图片的?这还得分四步走。

第一步:生成HDR+图片

人像模式的效果,其实是通过处理一张清晰的图片而来。

谷歌使用了计算摄影技术HDR+提升图片拍摄的质量,几乎所有的Nexus/Pixel手机都自带这个功能。

HDR+技术通过拍摄一系列曝光不足的图片,调整和平衡细节,减少阴影中的噪点。在保持局部对比度、合理减少整体对比度的同时,还增加了这些区域里的阴影。

即使在昏暗的灯光下,此阶段最终生成的图片仍是一幅动态范围高、噪点低、细节清晰的图片。

通过调整和平衡细节来减少噪音,其实在天文摄影技术中已经应用了很多年了,但Pixel 2系列的实现方式不太一样。因为照片是在手机上拍摄的,因此需更加小心避免移动时产生的重影。下面就是一个用HDR+捕捉到的高动态范围场景。

应用了HDR+技术(右)和没有应用(左)图像对比,两图均为Pixel 2拍摄。HDR+避免了天空处的过度曝光,并且增加了拱廊中的暗部细节

第二步:基于机器学习的前后景分割

得到一张清晰的HDR+图像后,下一步需要确定照片中哪些像素属于前景(通常为人物)、哪些属于背景。

看似简单的一个步骤实际非常棘手,因为它与电影中的色键技术(chroma keying)不同,我们无法推测照片中的背景是什么颜色。在这种情况下,机器学习技术就派上了用场。

研究人员用TensorFlow训练了一个神经网络,负责分辨照片中的哪些像素属于人物。这个卷积神经网络(CNN)带有跳跃式传递机制(skip connection),让信息在卷积神经网络处理的早期和后期阶段之间轻松传输。在早期阶段,卷积神经网络推理颜色、边缘等简单特征,而在后期阶段,卷积神经网络推理面貌和身体部位等复杂特征。

这种结合至关重要,卷积神经网络不仅需要推断照片中是否有人,还需要准确识别哪些像素属于这个人。

在此之前,这个卷积神经网络已经接受过近百万人照片数据的训练,研究人员甚至让它识别图像中的帽子和太阳镜等物件。

左图为HDR+处理的照片,右图为神经网络输出的图像,其中分出了图像的前景和背景

欣慰的是,卷积神经网络清楚地区分了女主人公的头发和茶杯的边缘,将之与背景区分开。如果在此基础上将背景进行模糊处理,就可以得到以下效果:

合成的浅景深图像

图像中特别需要注意的有几点。

首先,虽然背景包含了不同景深的物体,但模糊的程度是一致的。其次,如果用单反来拍,图中的盘子和饼干比较靠近镜头,也会出现模糊的效果。而Google的卷积神经网络虽然知道饼干不是人像的一部分,但是因为它在人像下方,也不能认作是背景的一部分。Google团队对这种情况进行了特别处理,让这部分像素保持相对清晰。可惜这种处理有时候就不太对,比如说这张照片中,盘子和饼干相关的像素就应该更模糊一点。

第三步:从双像素到深度映射

Pixel 2非双摄手机,但也能拍出带景深的图片,因为它里面添加了一种叫Phase-Detect Auto-Focus (PDAF)的像素技术,也可以称为双像素自动对焦(dual-pixel autofocus)。它的原理很容易理解。

想象一下,如果强行将手机的后置摄像头的镜头分成两半,那么镜头左侧的视角和右侧略有不同。虽然这两种视角相差不足1毫米(大概镜头直径),但这细微的不同足以计算出立体程度,并生成深度映射。

这相当于将图像传感器芯片上的每个像素分割成两个较小的并排像素,并分别从芯片上读取它们,原理如图所示:

在Pixel 2的后置摄像头上,每个像素的右侧都会通过镜头左侧来观察,每个像素的左侧都会通过镜头右侧观察

如上图所示,在一张照片中,PDAF像素通过镜头左右两侧给你不同的视角,如果你是竖着拿手机拍照,它就是镜头的上下两半部分。

举个例子吧,下图中分别为上部分(左)和下部分(右)捕捉的图片效果。

考验眼力的时刻到了

单肉眼确实很难将这两张图片分开,从最右边的放大图能看到细小的差别。

目前,PDAF技术已经应用在很多手机摄像头和单反相机中,在录制视频时帮助使用者更快聚焦。在Pixel 2中,该技术被用于计算深度映射。

温州男性专科医院

扬州妇幼保健院路线

老中医治白癜风的正规医院哪家好

治疗尖锐湿疣的专科医院哪家好