海量存储系统

  存储容量的计算


  模拟视频信号通过数字视频压缩技术转换为H.264或者MPEG4格式的码流,尽管经过压缩,其所占的空间仍然是非常大的,尤其是城市监控报警联网系统,摄像前端可能达到万级,产生的海量数据是非常惊人的。


  单路 D1 格式的流量计算: 600M/ 小时,每天产生的数据量为 24*600M= 14400M ,约合 14G ,一个月产生的数据量为 14G*30=420 G ;


  单路 CIF 格式的流量计算: 200M/ 小时,每天产生的数据量为 24*200M= 4800M ,约合 4.5 G ,一个月产生的数据量为 4.5G*30=135 G ;


  一个基层监控中心(派出所 / 分局)按照 100 路视频信号计算:


  D1 格式产生的数据量为420*100=42000G,约合 41T ;


  CIF 格式产生的数据量为138G*100=13800G,约合 14T 。


  存储方式的选择


  存储方式可以分为分布式存储、集中式存储和混合型三种方式:


  分布式存储:所有的前端编码设备将模拟视频信号压缩编码后,传送到距离自己最近的基层监控中心,在基层监控中心设置录像服务器,存储所有该监控中心所有连接的编码设备。模拟信号进行该基层监控中心后,也被编码设备转换成为数据信号存储。各个基层监控中心存储自己所接入的摄像资源的数据,上级监控中心需要数据时直接向各个基层监控中心调用。由于设备选型所限,不可能在基层网络中心放置比较高档的存储设备,存储的动态扩展也无法做到;数据的管理没有办法做到统一。


  集中式存储 :将所有编码设备产生的图像数据实时地通过网络存储到一级监控中心的网络存储服务器。集中式存储将图像统一存储、统一管理,增加了数据管理的便利性,统一的高性能海量存储设备提高了数据存储的安全性和可扩展性,数据可以方便地进行备份。


  但是它也有不足:


  1、从前面的数据量分析,在大中型城市中监控点位到达万级和十万级时,这种海量存储空间的建设成本是非常高昂的;


  2、实时传输视频图像占用的网络带宽资源非常大,每一路视频流(视频格式为 D1 )需要网络带宽为 800K~1.5M ,当视频流到达 1000 个时,将会对核心网络平台造成极大的压力。


  混合型存储 :将前面两种方式进行结合,以分布式存储作为基础,同时在一级监控中心设置网络存储服务器。短 / 近期的数据临时存放在基层监控中心的录像服务器内,长期的数据存上传网络存储服务器中。重要监控点位的视频资料不仅存储在基层监控中心,也实时的传输到网络存储服务器中作为备份。在基层监控中心建立备份计划,采用定时自动备份的方式,将超过30天的视频文件备份到网络存储服务器相对应的目录中,网络存储服务器根据需要采用滚动或者加锁等不同的存储和备份策略。


  分布式存储加上集中式存储和管理,既可以利用录像服务器硬盘实现实时录像,又可以利用网络存储服务器实现海量存储,具有很好的灵活性;部分采用集中式存储,易于空间管理和数据搜索以及数据备份,总体上提高了工作效率同时也降低了管理的成本;这种模式有非常良好的扩展性,整个系统可以按照比例扩展,在增加录像服务器本地硬盘的同时增加相应比例的网络存储服务器存储容量,实施快捷高效;在录像服务器来不及扩容或者录像服务器出现故障的情况下还可以使用网络存储服务器作为备份,大大提高了系统的可靠性。


  混合存储和备份方案


  集中式存储实际上是一种远程网络存储方案,针对城市监控报警联网系统的实际情况,建议采用性能价格比最高的 IP-SAN+NAS 体系结构。


  IP-SAN 体系结构的实质是通过 iSCSI 技术,构建一个基于高速 IP 网络的集中存储环境,解决用户数据迁移、数据共享、存储空间扩展的问题,并大大降低管理成本。让用户能在 IP 网络环境下充分享受 SAN 环境带给用户的好处的同时,省去 SAN 所需的光纤网络的搭建成本,构建一个远程的 SAN 的存储平台。同时,还可以充分融合 NAS 存储设备到该网络中,进一步利用 NAS 设备的优越特性。