海量数据处理技术在智能交通领域应用

　　一、引言

　　伴随着经济增长和城市化进程的加快，新的城市交通基础设施不断兴建，车流量快速增长，相应的智能交通综合系统也需一再扩容。在监控系统越来越庞大、监控信息越来越多的情况下，单纯依赖有限的交管人力资源或是在原有的系统基础之上做扩充来实现，几乎是不可能的事情。为了应对当前经济迅速增长和城市化进程加快过程中所凸显出的道路拥堵、交通事故频发、突发案件增多等状况，借助于更便捷、更智能的科技手段，来加强安全防范和交通管理就显得至关重要。

　　二、交通领域引进海量数据处理技术

　　针对交通行业的海量数据处理需求，智能交通管理系统可以在海量数据、恶劣网络环境和复杂业务处理情况下，实现大量图片、车辆数据、视频数据的时时网络传输和快速持久化存储，同时对任意站点的图像进行显示，对任意站点的视频进行流畅播放、实时进行比对报警，快速进行多条件检索，并且将各类多媒体数据和车辆数据合二为一。系统实现对目前的城市道路交通中异常行为的智能识别和自动报警等，从而减轻了交管监控人员的工作负担，提高了监测的准确度，使得交通管理工作更高效。

　　三、系统设计应用

　　1、总体设计及其优点

　　充分发挥了前端摄像机的潜力，同时通过提高传统以太网的使用效率，实现了前端摄像机的功能多样化，同时提高了大量并发的视频和图片数据的传输和存储效率。

　　（1）提高前端设备在线率，通过改进前端设备的硬件软件，提高了设备的可靠性，丰富前端设备的功能，前端摄像机除了具备视频采集功能外，具备了车辆号牌识别，车型识别，车辆颜色识别，车辆超速检测，视频和图片长时间存储的功能。

　　（2）提高网络传输的效率，解决网络传输瓶颈，传统的以太网存在网络带宽利用率低的弊病，通过改进，使的网络传输发生了本质的提升，保证时时的视频和图片传输，避免交通高峰期带来的信息堆积和网络阻塞问题。

　　（3）使用分布式数据存储，增加存储容量，提高存储性能，通过使用分布式存储，加快了存储的速度，有效避免了存储瓶颈带来的存储压力，配合快速的网络传输，实现了数据的最短时间持久化。

　　（4）平台数据分流，使用分布式的存储理念和分布式数据库，加快数据库的反应速度，避免了海量数据过度集中带来的一系列数据库问题。提高后端各个服务的反应速度，进而提升了整体平台的反应速度和用户的使用体验。

　　交通监控大数据处理方案优点：

　　（1）通过有效提高前端设备的各方面性能，增加更多的识别功能，增加数据库记录功能，实际上有效降低了用户的采购成本，一个设备实现了多项功能，有效降低了平台的数量，降低了一系列的采购、维护、运行和后续的成本。

　　（2）通过提高现有网络设备的传输效率，在现有网络上实现快速传输，解决网络瓶颈，能够带来更加快速的应用体验，提高整体基础数据的服务质量。

　　（3） 通过使用分布式存储代替现有的中心节点存储，分散存储压力，分散了数据风险，带来的优势是延长了数据的保存时间，减小了数据丢失的风险，提高了每一个关键数据的访问速度。

　　（4）通过使用新的数据库Hbase1和嵌入式数据库SDB，通过分布式数据库，分流平台数据，提高数据库系统的性能，同时也提高了所有应用的服务质量，提供给用户更加快捷的应用体验，提高工作效率和服务水准。

　　2、应用实现

　　（1）增加前端设备的功能提高前端设备稳定性。

　　由普清到高清的转变过程中，大数据量的存储是智能交通行业普遍面临的难题。博瑞凯诚最新研制推出的新一代嵌入式高清智能相机，采用一体化设计模式，在每一个相机里面配置1T硬盘，用于存储数据。前端机配置大硬盘解决存储问题，不仅保证了数据的安全性同时保证了数据调取的高效性。

　　（2）在网络传输算法中使用基于DNA包的网络传输算法解决网络瓶颈。

　　基于DNA包的网络传输算法的优势：解决了基于传统网络带宽占用(利用率)低的问题。传统TCP采用了反复连接、慢启动、动态滑动窗口、定时重传、拥塞控制等技术以确保数据的可靠传输，但却严重降低了带宽的利用率和传输效率。对此，提出了基于DNA包传输算法，采用先进的传输机制，极大地提高了网络带宽利用率和传输效率。

　　3、交通监控大数据处理应用效果

　　（1）可以充分发挥一体机的作用，使一体机可以同时进行高速、高清视频采集，同时进行高清图片采集，实现快速的超速，逆行，闯红灯，非法转弯等多种违法识别，能够识别车牌，车辆类型，车辆颜色等多项指标，数据能够时时上传，一体机自身实现低功耗，低故障率，高稳定在线率。

　　（2）可以充分利用带宽，保证带宽的正常利用率可以达到50%-80%，高峰时可以达到90%-100%。

　　（3）使用低价的服务器和普通的存储阵列，可以吞吐整个网络带宽传输的数据，不丢失数据，数据存储不延时。

　　（4）数据库高效率运行，读写速度明显加快，服务响应速度明显加快，提供快速有效的服务。

　　4、交通监控大数据处理系统特点

　　使用高清监控，前端设备具备图片获取、识别功能；前后端软件均支持多种视频传输协议，其视频和图片管理的搜索、存储功能完备，能够支持大数量的前端卡口设备，为需要服务的各种需求提供基础数据。

　　（1）高清晰度：前端摄像使用高清相机，视频清晰，卡口前端设备可支持500万、200万高清视频的实时采集，后端显示软件可以实时查看任何一个前端设备的视频；采集的图片清晰，图片采用高清晰度1600*1200模式，能够细腻的记录路况和车辆。

　　（2）稳定性好：前端设备稳定性高，前端硬件设备采用稳定性高的软硬件设计，后端服务系统运行稳定；由于卡口设备的故障低和后端软件的低故障率，可以有效的降低整体平台的维护维护量，提高卡口数据基础服务的质量。

　　（3）低能耗：卡口设备功率低，耗能少，运行成本低，同时低能耗降低了对安装环境的要求，功耗低带来的优点，除了运行费用低以外，同时也使的设备的运行寿命增加，长期使用，性价比高。

　　（4）大容量：前后端存储设备存储空间大，能够长时间存储图片和视频。由于卡口设备为高清设备，视频和图片的文件很大。除了中心存储外，前端设备还自带大容量存储，可以存储1T的视频和图片，当中心存储压力大的时候，前端存储可以有效的分担中心的存储压力。 　　

　　（5）网络需求低：普通的以太网就可以满足设备的需求，使得设备安装简便；卡口设备的带宽要求，相对普清高了不少，但是由于采用h264压缩编码和jpg压缩编码，可以有效的降低码流，从而使前端数据的传输带宽达到一个比较合适的理想值。

　　（6）视频多协议转发：前端设备采集得到的视频流，支持多种协议转发。除卡口平台可以时时查看任意一个卡口的视频外，其他的视频平台，也可以通过接口获取到标准协议封装的视频流进行操作。

　　（7）自动识别功能丰富：卡口平台前端设备的识别功能丰富，能够快速识别车牌和多种违章情况；后端服务系统可以根据不同的情况对识别结果进行快速的分类、存储；前端卡口设备的功能丰富，给卡口平台带来了巨大的优势，不仅仅能够获取通行车辆信息、违章信息，卡口设备获取的数据，可以为更多的公安平台提供基础数据，例如，单个卡口的通行量，多个卡口通行记录的联合信息，可以为更多的新应用提供数据支持。

　　（8）处理超大数据：后端服务系统支持大数量的前端卡口设备，在存储、信息处理、数据检索、数据访问接口方面，都支持大数量前端设备；由于卡口系统设计之初考虑到地级市的重要路口较多，信息量大，从数据库设计到系统服务设计，均采用了集群式的服务形式，所以可以提供大数据量的保存和查询服务。

　　（9）外部接口丰富：卡口平台获取的数据，可以通过多种访问接口访问，需要卡口平台数据的各种应用系统，均可以通过认证后访问卡口平台；卡口平台系统的web、基础数据、图片资源的访问以及视频数据调取，均提供数据接口。

　　（10）扩展性好：卡口平台设计合理，可以方便的增加前端设备，同时前后端软件功能也可以方便的升级；前端设备的数量和功能增加，可以通过简单的增加节点和升级软件实现；后端服务采用模块化设计，方便功能模块的增加和升级。