Summingbird是一个大规模数据处理系统，支持开发者以批处理模式（基于Hadoop/MapReduce）或流处理模式（基于Storm）或混合模式（即组合前两种模式）以统一的方式执行代码。为了处理5亿的Tweet并能持续成长，Twitter开源了其MapReduce流处理框架Summingbird。

目录 0. 相关文章链接 1. 原理 2. 操作 3. 测试 0. 相关文章链接 Flink文章汇总 1. 原理 Flink程序由JobClient进行提交 JobClient将作业提交给JobManager JobManager负责协调资源分配和作业执行。资源分配完成后，任务将提交给相应的TaskManager TaskManager启动一个线程以开始执行。TaskManager会向JobManager报告状态更改,如开始执行，正在进行或已完成。 作业执行完成后，结果将

新版流式构建是在Kylin v1.5的"可插拔 "架构下的一个完美实现︰ 将Kafka主题视为一种数据源，实现相应的适配器，将数据先抽取、转换和保存到 HDFS，接下来使用各种Kylin的构建引擎(MR/Spark等)对数据进行并行计算 。

Summingbird是一个大规模数据处理系统，支持开发者以批处理模式（基于Hadoop/MapReduce）或流处理模式（基于Storm）或混合模式（即组合前两种模式）以统一的方式执行代码。为了处理5亿的Tweet并能持续成长，Twitter开源了其MapReduce流处理框架Summingbird。

Apache Beam 的主要目标是统一批处理和流处理的编程范式，为无限，乱序，web-scale的数据集处理提供简单灵活，功能丰富以及表达能力十分强大的SDK。