东莞市盛裕绒艺玩具有限公司

东莞市盛裕绒艺玩具有限公司

永利博官方百家乐

15359183428
联系方式
全国服务热线: 15359183428

咨询热线:15506203736
联系人:俞经理
地址:中国吉林长春市二道区临河街与北海路交汇处

Berkeley开源Confluo,吞吐量是Kafka_IT News的4到10倍

来源:永利博官方百家乐   发布时间:2019-06-26   点击量:194

    最近,伯克利RISE实验室开发了一个实时分布式多数据流分析系统Confluo,它不仅是一个网络监测和诊断框架,而且是一个顺序数据库和发布订阅消息系统。源地址:https://github.com/ucbrise/confluo.目前,类似的应用如基于终端主机的网络监控系统、IoT设备的传感器程序等,其后端的服务器每秒可以捕获数千万个数据点。这些数据用于在线查询、可视化和监控、或离线查询、故障分析和系统优化。在这种情况下,需要实时监视和分析工具,它们通常支持高吞吐量数据提取、低延迟在线查询和低开销的离线查询。虽然有一些用于高吞吐量数据提取的数据结构可以支持丰富的在线和离线查询,但是高吞吐量和查询能力目前是相互排斥的。当从多个数据流中提取数据时,查询需要更新多个数据结构,包括原始数据、聚合的统计信息和物化视图。然而,用于支持这些查询的数据结构通常具有较高的更新开销,并且不能维持大多数应用程序所需的数据提取速率。另一方面,能够保持高数据提取率的数据结构通常支持非常简单的查询。Confluo是专门用于高吞吐量数据提取和表达性离线/在线查询的系统。Confluo具有很强的性能和支持:使用具有最小CPU资源的特别查询,从多个数据流并发写入毫秒在线查询的数百万个数据点具有高吞吐量。在不同场景中对Confluo的性能测试表明,Confluo可以在单个核心上以线路速率(10Gbps链路)作为网络监视和诊断框架进行操作。数以千计的触发器和几十个过滤器。作为一个时态数据库,与CorfuDB、TimescaleDB和BTrDB等其他高级时态数据库相比,Confluo的吞吐量增加了2-20倍,写延迟减少了2-10倍,查询延迟减少了5-20倍。作为一个发布-订阅消息传递系统,Confluo的呕吐量是Kafka的4到10倍。更详细的分析:https://..cs.berkeley.edu/blog/confluo-.second-level-queries-on-.-.-streaming-data

相关产品

COPYRIGHTS©2017 永利博官方百家乐 ALL RIGHTS RESERVED 备案号:194