xStream多通道流式数据处理系统

xStream多通道流式数据处理系统

系统介绍                                                

xStream多通道流式数据处理系统是一个适用于复杂应用场景的高性能、高并发、高可靠性、高可伸缩性的分布式实时数据处理系统。可以同时为应用于不同业务场景的边缘计算设备提供点状及流式数据的采集、存储、分析、计算等服务。系统支持在Linux和Windows操作系统上部署,灵活适配不同基础设施环境。

系统特色                                                 

xStream中的“x”指代任意的应用场景(无限),从环境在线监测到环境移动执法、环保用电监管,再到实时视频监控、甚或其它非环境类的更为复杂的场景均能任意扩展,任意配置——各业务场景间既可高度耦合,亦可松散耦合及至实现更为严格的业务、数据隔离。Stream指代从边缘计算设备到用户端流动的实时数据流:按时间序列采集的点状数据以及音、视频、图片等流式数据。无论是点数据还是流式数据,xStream系统均根据事先制定的业务规则实时处理,处理结果可根据需求存储于各类数据库或数据湖中。

系统优势                                                 

        1)高性能。系统采用高效的哈希存储算法及异步通讯架构,能够充分发挥CPU多核处理器的能力,百亿条以上数据记录的检索时间稳定在微秒级,TCP并发链接数达到十万以上级。

        2)可伸缩性。系统支持水平扩展,当接入设备逐渐增多、数据量极速增长时,可通过增加计算节点轻松提升系统整体处理性能,扩展无上限。

        3)高可靠性。系统具备完善的容错机制,当集群中出现单个甚至多个节点宕机时,其它正常节点仍能提供可靠的数据处理及访问服务,故障节点修复后自动恢复,无需人工干预。

        4)完全自主知识产权的虚拟网络容灾系统。集群内所有网络节点绑定同一个虚拟地址,当单个或多个网络节点宕机时,系统自动切换网络服务到正常节点,确保数据接入、WEB、APP等关键服务不受影响,实现7x24小时无人值守。

        5)完全自主知识产权的高性能实时库。采用高效的哈希存储算法,有效降低碰撞率,百亿条以上数据记录的检索时间稳定在微秒级。

        6)高并发、多通道数据采集服务。系统采用异步通讯架构,能够充分发挥CPU多核处理器的能力,TCP并发链接数达到十万以上级。

        7)多场景并发数据采集能力。系统可以提供任意多个、采用不同通讯协议的通讯通道为不同应用场景下的边缘计算设备提供数据接入服务。

        8)分布式日志系统。登录到任意一个集群节点均可实时查看xStream在整个集群内的整体运行状态,系统管理员可据此监控并排查系统故障隐患,确保系统运行处于最佳状态。

手机扫一扫关注公众号

焦正峰 13065077497