随着城市建设的不断升级，智能交通系统建设规模正在不断扩大，交通数据采集的范围、广度和深度急剧增加，从以往的卡口、微波雷达、GPS、视频等，向电子车牌、车联网等综合方式发展。交通数据生产的速度越来越快，种类越来越多，对于数据架构提出了空前的挑战。传统的交通数据存储模式已经渐渐不能满足日益提高的存储和分析的要求。
    在这样的背景下，企业如果不进行数据架构能力的升级，势必会在竞争中黯然失色。出于战略性的考虑，银江研究院在2014年底布局了以交通大数据为切入点的技术研发规划。大数据研究所经过1年多的研发积累，成功地将交通大数据的架构进行了升级，研发的银江交通大数据管理平台于近日通过了官方性能测试，标志着银江研究院关于交通大数据项目的方案解决能力和项目建设能力达到了行业领先水平。

银江交通大数据管理平台介绍

    银江交通大数据管理平台采用了Hadoop + Hbase+ Elasticsearch + Zookeeper的技术架构。在研发过程中采用了大量的优化策略，使得平台性能进一步提升，并通过标准化的存储模型、统一的API服务，提高了平台的易用性，传统研发人员无需了解平台架构，即可在该平台上进行开发。
    其中，Hadoop是一个专门对大量数据进行分布式处理的软件框架，能够处理PB级数据，具有高可靠性、高扩展性、高效性和高容错性等特点。HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，既能存储结构化数据，也能存储非结构化数据。平台采用CentOS系统，能够运行在普通PC Server上搭建起大规模结构化存储集群上，可以支持PB级数据存储和查询。
    根据浙江省智能技术质量检验中心的检测报告显示，银江交通大数据管理平台单节点单客户端的并发写入速度为7100条/秒（2KB/条），50亿条卡口数据查询响应时间平均小于0.1秒，相比于某些厂商10亿数据秒级的查询响应时间，银江交通大数据管理平台真正做到了实时响应，此外，图片并发读写可以充分利用网络带宽，逼近I/O性能极限。平台能轻松应对千亿条以上规模数据的存储和管理，能够满足当前城市级别的交通结构化数据在若干年内的存储和管理需求。

银江交通大数据管理平台优势

1. 存储无上限，超大规模存储成本优势明显
    银江交通大数据管理平台设计采用低成本PC存储服务器集群方式，相比专用的小型机，成本明显降低。当系统存储空间不足时，在保证系统服务连续的前提下，可以通过添加节点，对系统进行在线动态扩容。以浙江某城市为例，用普通的关系型数据库最多只能存储3个月的交通数据，采用银江交通大数据管理平台，可以将存储时间延长到24个月甚至更久。
2. 冗余设计，更加可靠
    平台采用多备份存储机制，保证在服务器出现故障时，系统仍然能够响应业务应用的数据访问请求，同时后端系统可自动进行故障数据的迁移和恢复。
3. 并行设计，超高速写入
    相比于单台服务器限制于带宽，平台充分利用集群多节点的优势，将大量的数据及访问请求进行合理的水平、垂直分割，充分发挥网络以及服务器的I/O吞吐能力。
4. 多种搜索分析引擎，满足不同开发需求
    平台支持Elasticsearch全文搜索引擎，实现毫秒级查询响应；支持Hive/ Spark等面向分析的计算引擎，实现离线复杂分析和近实时的分析模型；支持Rest API服务风格的交通数据获取，能够满足不同的开发需求。

应用前景

    随着银江交通大数据管理平台通过测试，大数据研究所形成了包括大数据存储、管理、挖掘在内的一套完整的大数据管理平台解决方案。目前已经与杭州、南昌等地交警部门展开合作，将陆续推出快速路网信号决策优化系统、卡口大数据研判与实战平台等大数据产品。
    随着物联网建设的不断深化，除了交通领域，在医疗，智能建筑、金融、体育等其他领域，大数据也将迎来爆发。例如，在医疗领域，预计到2020年，人均传感器将从现在的不足0.2个增加到10个以上，意味着传感器产生的医疗数据至少增加50倍。《2015年中国大数据发展调查报告》显示，2015年中国大数据市场规模达到116亿元，增速达38%，预计到2020年，中国大数据产业市场规模将达到8200亿元。
    展望未来，银江研究院将会对数据架构升级加大投入，交通大数据管理平台将会得到深度的研发和进一步的拓展，并在智慧医疗、数据开放等各个领域发挥重要作用。