立足ISP技术 分析高清时代下的需求

　ISP技术是一种摄像机专用的技术，是按照人眼视觉的要求对摄像机拍摄到的数据进行转换处理的一种技术。目标是使视频或图片适于人眼观看。一般包含很多的功能模块，每个模块都会针对原始数据的一种问题进行相应的调节，像降噪模块可以减少噪声的干扰，颜色调节模块可以使图像的颜色更加真实自然等。近些年随着网络技术的进步和高清摄像机的发展，人们对摄像机的图像质量要求不断提高，ISP技术也在相应的发展进步。以下是我观察到的几个比较明显的变化。

　　图像质量的重要性

　　客户对图像质量的要求提高，要求看的更清晰、看的更广并且看的更多。

　　模拟时代的视频分辨率不足，客户不得不受限于雾里看花般的视觉效果。现在随着百万像素的高清摄像机不断普及，客户希望能看到更多的图像细节、更大的视野以及更多的颜色、亮度信息。

　　首先，现在的摄像机必须包含丰富的细节，要能清楚的分辨出人脸、车牌等物体，这就要求ISP技术不断挑战分辨率极限。同时在国内外摄像机评测中清晰度测试也是重要的一个环节，这也从另一个方面说明了清晰度的重要性。这就要求厂家不断改进Debayer、降噪和边缘增强等算法模块以及这些模块之前的配合方式以提升摄像机的整体清晰度。

　　其次，现在的摄像机必须有更广阔的视野，客户希望在一台摄像机实现原先多台摄像机的监控效果，为了实现这一点，摄像机厂家有时会使用更广角的镜头甚至是鱼眼镜头。这种广角镜头确实能有更广阔的视野，但不可避免的会带来边缘图像的畸变，这又对ISP技术提出了新的要求——能够支持镜头畸变的校正或者鱼眼镜头的校正。

　　再者，现在的摄像机必须能够看的更多，ISP技术必须通过改进技术提高在各种场景下的适应性。例如在超低照度下也要能够显示尽可能多的亮度/颜色信息，这就要求ISP技术通过二维降噪、三维降噪和低照度拉伸等技术提升图像的信噪比，在超低照度下也能提供给客户足够多的信息。再比如在一些门口机或者楼宇监控中，经常会碰到宽动态场景，动态范围很大，一般的普通相机无法同时拍摄到暗处和亮处的细节，这就要求ISP技术支持宽动态功能模块并提升宽动态的动态范围。

　　数据处理需求增加

　　ISP需要处理的数据量急剧增加，复杂度也随之增加。进入高清时代以来，摄像机的像素数目和视频的实时性都在不断提升，百万像素已经成为基本配置，千万像素的摄像机也可以在市场上找到。同时客户对视频的实时性要求也越来越高，一般都要求每秒达到30帧、60帧甚至120帧。更多的像素乘以更多的帧数，这就使得ISP系统需要处理的数据量急剧增加，这都需要ISP技术的数据处理能力不断提高。

　　各厂家用于实现ISP的硬件一般有专用的DSP、ASIC架构或者FPGA芯片，这些方法有各自的优缺点，但在处理的数据量急剧增长的情况下复杂度都明显提高。如何在复杂度提高的同时控制硬件成本、功耗和体积成为了这些厂家的技术难点，使得可以自制ISP系统的厂家明显减少。

　　提升ISP功能

　　ISP的附加功能已经不足以成为项目的控标点，各厂商普遍具备。

　　两年前一些大的厂家还可以使用特殊的ISP技术，例如宽动态、三维降噪、去雾、防抖或者强光抑制这种功能来进行重大项目的控标，使得小厂家无法加入项目的竞争。但现在这些功能已经不足以成为控标点，大多数厂家都已经具备了这些功能。

　　下一步要想在项目中取得领先，各厂家就必须要提升这些ISP功能的效果。例如要求宽动态对比中不仅仅对比普通宽动态场景的效果，还需要对比极限的宽动态范围、亮部和暗部的细节差异以及颜色是否真实自然等。再比如三维降噪功能不能再满足于对比是否有此功能，更要对比极低照度下的噪声效果和动态场景的运动模糊等。

　　信噪比与码流压缩率

　　信噪比和码流压缩率最为关键。在摄像机技术中，具有决定意义的的指标还是要提高信噪比和码流的压缩率，ISP技术也必须持续不断的在这两个方面进行改进。

　　信噪比是客户获取到的有用信息与无用噪声的比值，是摄像机信息获取效率最直接的衡量，从模拟摄像机时代起这个参数就是摄像机最重要的指标之一。近些年来摄像机的信噪比获得了巨大的提升，其中大部分是感光元器件厂家的功劳。ISP技术在其中也做出了一定贡献，例如更好的Debayer算法以及更好三维降噪算法，都明显的提升了摄像机的信噪比，为我们带来了更多的细节和更少的噪声。

　　而码流压缩率也是客户十分渴望能有所提升的指标，它对于网络传输和存储性能有着巨大的意义。近些年来编解码标准的改进对码流压缩率的非常巨大，从已经过时的H.263到最近主流的H.264，到即将普及的H.265，每次编解码规范的改进都为我们降低了一半的码流。这意味着原先只能传输标清视频的网络在没有硬件改动的情况下可以传输高清视频了，也意味着原先只能存储一个月的存储设备可以存储两个月了。通过改进降噪算法、增强算法等，ISP也可以在不损失画质的情况下使码流更低。

　　结语

　　ISP技术是继编解码技术后的又一个技术密集型模块，各个芯片厂家和摄像机厂家都在进行激烈的竞争。谁能够提供更好的画质并为客户提供更好的图像处理功能，谁才能够在市场中占得一线先机。