搞算法还要当“美学家”？旷视要用AI重新定义计算摄影_智东西

计算摄影火爆背后，旷视用AI给出新玩法。作者 |  云鹏编辑 |  漠影如果要拎出当下旗舰手机三大比拼核心点，那么芯片性能、影像系统、屏幕效果必不可少。在5G时代，短视频拍摄火爆，摄影和视频创作已经逐渐走进普通人的生活中，因此摄影摄像几乎成为了手机厂商们争夺的关键技术高地。当然，攻下这座山头似乎并不容易，各家都组建起自己的影像算法研究团队，并且和索尼、徕卡这种“大厂”进行合作，共同调教算法。其实这种利用算法，拓展相机硬件获取信息能力，来尽可能丰富和全面呈现我们肉眼所见世界的方式，被行业内称之为计算摄影。对于计算摄影的研究，难度其实很大，因为这需要有比较聚焦、专一的研究团队和一定的数据基础，同时在算法研发工具、平台方面的要求也不低。有需求，就有市场，很多在视觉算法领域有一定积累的企业，也开始抓住计算摄影这条关键赛道，尝试给出自己的解题方案，而AI似乎在这其中扮演着越来越重要的角色。为了揭开这层面纱，理解AI对于计算摄影的根本意义，以及不同玩家究竟是如何与“光影艺术”打交道的，智东西与AI企业旷视科技的工程师进行了深入交流。01.都是800万像素，凭什么你拍的更好？其实大家真正对于“拍照不止于硬件”有所感知，是从iPhone开始。从iPhone 5一直到iPhone 6s，苹果一直在沿用一颗800万像素摄像头。但苹果却凭借这一枚祖传800万像素摄像头，“吊打”了当时一众安卓旗舰手机的拍照素质，在一个小小的相机模组背后，对于硬件的调教和算法产生了关键作用。时间来到2018年，谷歌Pixel 3系列凭借最佳镜头模式、超级变焦、夜景拍照等功能，成为了当时的“地表最强单摄”手机。从过去让手机拍的到，到今天让手机拍得好，同样的像素，接近的光学尺寸，但成像效果却相去甚远。曾经厂商们给手机拍照增加各种各样的功能，但最后发现，一拍即得，反而是用户最需要的，而实现这种体验的背后，需要算法提前做大量工作。其实在计算摄影领域，旷视已经深耕多年，只不过略显低调。前几年手机刷脸解锁和刷脸支付成为热门，这背后旷视的算法就多有应用。今天，旷视要将AI的能力融入影像算法，在他们看来，AI才是计算摄影的未来方向。02.跟“光“打交道，硬件需要AI来帮忙那么AI到底如何给手机影像系统赋能？这听起来似乎有些抽象。通过与旷视工程师进行交流，我对他们基于深度学习神经网络能力的“AI+CV”超画质技术有了更深的理解。其实通俗来讲，这类技术就是通过AI来对高画质数码相机的成像特性进行学习，还原景物原有的细节纹理，使画面品质得到整体提升。也就是说，“原来硬件看不到的，AI来告诉它都有什么”，获得超越图像原本的效果，从而让用户可以更加简单便捷的获得一张“好照片”。旷视特别提到，目前他们的超画质产品已经在50多款热销手机中有所应用，并多次在相机评测机构DXOMark中取得当时的最高分。具体来看，旷视的超画质技术主要是针对全局和细节两方面分别进行优化处理。比如画面细节增强、动态范围提升、降噪效果提升这类属于全局优化的范畴，而闭眼融合修复、天空噪声优化、挥手鬼影优化这些则属于细节优化。旷视的工程师告诉智东西，对于“超画质”，旷视追求的是整体影像拍照好看，这个好看主要是对于光的处理。“光有三个域，分别是时域、频域、空域。旷视超画质做的核心工作，就是对三个域上的信号进行增强，或者优化处理。”就比如对于噪声的优化，旷视算法的核心就是对时域和空域信号的补充。首先AI会对自然光谱进行学习并总结特性，然后就可以借此对相机传感器所捕捉的信号进行分辨，哪些是噪声，哪些是成像需要的信号。最后把需要的部分还原，把噪声的部分去掉，这就是AI在降噪算法上的一个典型应用。03.计算摄影的本质，是“光感知”的协同设计从超画质技术，我们可以看出旷视对于计算摄影的发展路径有着自己的理解和判断。其实拍摄本质上是一个“光感知”的过程。光：光线本身及光学路径；感：接收光线做光电转化；知：将光信号做计算处理。形象的来理解，其实可以比作人眼看到物体的过程。人眼中的晶状体和角膜是光学系统，而感知的部分是视网膜，处理的部分是大脑。以前手机相机硬件之间的交流是通过相对固定的信息参数，光的部分以镜头为媒介，把参数给到感的部分（传感器），基于这些信息感的部分来做优化设计，这是单一“小水管”形式，各个部分单打独斗，各自提升。而现在通过AI算法，旷视在各硬件之间搭建了一个类似神经网络的链接，从最优影像效果出发，优化各个硬件的参数。旷视的工程师特别强调说，光感知系统是一个整体，他们一定是协调工作的。逻辑上是通过扩大整体信息管道的通量，让不同硬件设备之间形成更有效的全局优化，使整个系统的效果更往上走一个台阶。旷视将这种思路和方法称为：用AI重新定义光感知系统。而AI计算摄影就是旷视在手机影像领域应用这种方法的体现。04.为了让AI更懂“什么是美”先要把自己训练成“美学家”可以看到，AI的加入让影像系统的算法之争又上升到了一个更高的维度，而这也需要大量研发人员、大量研发资金的投入来慢慢打磨。九年前，旷视进入了AI视觉这条赛道。从面部识别到计算摄影算法，他们一直在拓展自己在AI算法领域的研究边界。目前旷视研究院已经拥有500多位研究员，据称这样的规模在全球范围内也属于比较领先。为了提升超画质的实际表现，旷视搭建了自己的光学实验室、图卡实验室等专业实验室。旷视的工程师告诉智东西，为了让AI更懂“什么是美”，他们从事超画质研发的同学，在训练算法前，都要先将自己训练成能够辨识美的“美学家”，只有自己能够熟练辨识什么是好照片，才能开发出实际表现更贴近用户需求的超画质算法。就比如，色彩的表现力和自然真实之间如何做取舍？这就是一个非常令人纠结的问题。这时候，就不能盲目训练算法，而是要先通过人来评判。旷视的超画质工程师们会跟专业的图像质量测评集去打交道，也会跟客户一起讨论，“先把自己训练出来，知道怎样做好看了，才知道自己做的图是不是好。”凭借研发人员这种认真和执着，依托旷视Brain++平台的能力，在不到2年的时间里，旷视超画质技术已经迭代到3.0版本，整体研发及交付效率提升了6倍。从算法驱动到价值驱动。旷视的工程师说，客户曾有一句评价令他们印象很深刻：“旷视只要选好方向，就非常坚定，最终能够做出来好的产品。”这种口碑的养成，其实都需要一步一个脚印的慢慢积累。05.结语：AI计算摄影未来还有很大想象空间随着拍照软硬件系统整体的复杂度越来越高，通过深度学习神经网络找到最优参数的解法，其优势逐渐突显。在手机AI计算摄影这条路上，旷视找到了属于自己的核心要诀。当下，手机仍然是目前技术创新密度和技术价值密度最高的产品之一。智能手机摄影摄像在近几年内依然会成为各家产品的主打卖点，因此市场对于AI拍照算法的需求也会只增不减。这条赛道既有苹果这样的手机厂商在带动，也有旷视这样的AI公司在持续投入，更有许多创业公司仍然在探索更多细分领域的机会，AI计算摄影这条赛道，好不热闹。（本文系网易新闻?网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。）

---