浅聊Flink的广播模式

浅聊Flink的广播模式前言最近接触到一个新颖的中间件 Flink，为什么接触到这个呢，是因为我们公司系统需要做一个告警模块，负责采集到的监控数据会直接往 kafka 里塞，然后告警这边需要从 kafka topic 里面实时读取到监控数据，并将读取到的监控数据做一些 聚合/转换/计算 等操作，然后将计算后的结果与告警规则的阈值进行比较，然后做出相应的告警措施（入库），大体的流程如下所示：简单介绍Flink一.从下至上：1.部署：Flink支持本地运行，能在独立集群或者在被YARN或Mesos管理的集群上运行，也能部署在云上。2.运行：Flink的核心时分布式流式数据引擎，意味着数据以一次一个事件的形式被处理。3.API：DataStream，DataSet，Table，Sql API。4.扩展库：Flink还包括用于复杂事件处理，机器学习，图形设计和Apache Storm兼容性的专用代码库；二.数据集类型1.无穷数据集：无穷的持续集成的数据集合；2.有界数据集：有限不会改变的数据集合；常见的无穷数据集有哪些？1.用户与客户端实时交互数据2.应用实时产生的日志3.金融市场实时产生交易记录三.数据运算模型1.流式：只要数据一直产生，计算就会持续不断的进行；2.批处理：在预定的时间内执行计算，当完成时释放计算机资源；Flink它可以处理有界的数据集，也可以处理无界的数据集，它可以流式的处理数据，也可以批量的处理数据；四.Flink 数据流编程模型Flink提供了不同的抽象级别以开发流式或批处理应用：1.最底层提供了有状态流，它将通过过程函数（Process Function）嵌入到DataStream API中。他允许用户可以自由地处理来自一个或者多个流数据的事件，并使用一致，容错的状态。除此之外，用户可以注册事件时间和处理事件回调，从而是程序可以实现复杂的计算。2.DataSteam / DataSet API是Flink提供的核心API，DataSet处理有界的数据集，DataStream处理有界或者无界的数据流，用户可以通过各种方法（Map / flatmap / window / keyby / sum / max / min / avg / join等）将数据进行转化 / 计算。1.map:一对一转换，对数据流中的每一元素应用一个函数，返回一个新元素。 2.flatmap：一对多转换，对每一个元素应用函数并返回零个，一个或多个元素； window:将数据流按时间或数量切分为有限大小的“窗口”，用于窗口聚合计算； keyby：按指定的key对流进行逻辑分区，相同key的数据会被分配到同一个分区，是后续keyed state 和 keyed window 的基础； sum：对指定字段在窗口或整个keyed stream上进行求和； max：对指定字段取最大值（仅更新该字段，其他字段保持第一条记录的原始值）； min：对指定字段取最小值（仅更新该字段，其他字段保持第一条记录的原始值）； avg：对指定字段计算平均值（在DataStream API中一般通过sum 与 count组合或使用aggregate实现）； join：在两个数据流或者数据集上根据key和窗口（对于DataStream）进行关联，输出符合关联条件的元素对；3.Table API 是以表为中心的声明式DSL，其中表可能会动态变化(在表达流数据时)。Table API提供了例如select ， project，join，group-by，aggregate等操作，使用起来更加简洁(代码量更少)你可以在表与DataStream / DataSet之间无缝切换，也允许程序将Table API与DataStream以及DataSet混合使用；select：从表中选择指定的列，类似于SQL的select，可对列进行投影，计算或重命名； project：在Table API中通常与select类似，主要用于选择列的子集，但早期版本中更强调列的重排列； join：将两个表根据关联条件合并在一起，支持内连接，左连接，右连接，全连接等，可基于等值或非等值条件； groupBy：按指定的一个或多个字段对表进行分组，通常后接聚合操作； aggregate：对分组后的数据执行聚合运算，如sum，count，avg，max，min等，也可以通过自定义聚合函数拓展4.Flink提供的最高层级的抽象时SQL。这一层抽象在语法与表达能力上与Table API类似，但是是以SQL查询表达式的形式表现程序。SQL抽象与Table API交互密切，同时SQL查询可以直接在Table API定义的表上执行。五.Flink 程序与数据流结构Flink应用程序结构就是上图所示：1.Source：数据源，Flink在流处理和批处理上的source大概有4类：基于本地集合的source，基于文件的source，基于网络套接字的source，自定义的source。自定义的source常见的有Apache kafka，Amazon Kinesis Streams、RabbitMQ、Twitter Streaming API、Apache NiFi 等，当然你也可以定义自己的 source。2.TransFormation：数据转换的各种操作，有Map / FaltMap / Filter / keyBy / Reduce / Fold / Aggregations / Windows / WindowAll / Union / Window join / Split / Select / Project等，操作很多，可以将数据转换计算成你想要的数据。3.Sink：接收器，Flink将转换计算后的数据发送的地点，你可能需要储存下来，Flink常见的Sink大概有如下几种：写入文件，打印出来，写入socket，写入自定义的sink。自定义的sink常见的有Apache kafka、RabbitMQ、MySQL、ElasticSearch、Apache Cassandra、Hadoop FileSystem 等，同理你也可以定义自己的 sink。六.Flink的优点1.提供准确的结果，甚至在出现无序或者延迟加载的数据的情况下；2.它是状态化的容错的，同时在维护一次完整的应用状态时，能无缝修复错误；3.大规模运行，在上千个节点运行时有很好的吞吐量和低延迟；4.Flink保证状态话计算强一致性。“状态化”意味着应用可以维护随着时间推移已经产生的数据聚合，并且Flink的检查机制再一次失败的事件中一个应用状态的强一致性；5.Flink支持流式计算和带有事件时间语义的视窗，事件时间机制使得那些事件无序到达甚至延迟到达的数据流能够计算出精确的结果；6.除了提供数据驱动的视窗外，Flink还支持基于时间，计数，session等灵活视窗。视窗能够用灵活的触发条件定制化从而达到对复杂的流传输模式的支持。Flink的视窗使得模拟真实的创建数据的环境成为可能。7.Flink的容错能力是轻量级的，允许系统保持高并发，同时在相同时间内提供强一致性保证。Flink以零数据丢失的方式从故障中恢复，但没有考虑可靠性和延迟之间的折衷；8.Flink能满足高并发和低延迟（计算大量数据快）。下图显示了 Flink 与 Storm 在完成了数据清洗的分布式任务的性能对比；9.Flink保存点提供了一个状态化的版本机制，使得能以无丢失状态和最短停机时间的方式更新应