大数据 Flink 教程之使用 Apache Flink 进行无服务器复杂事件处理 什么是 Apache Flink？ Flink 是一个分布式处理引擎，能够对数据流进行大规模的内存计算。数据流是一系列事件，例如来自单个或多个来源的事务、网站上的用户交互、应用程序日志等。流通常可以有两种类型：有界或无界。有界流具有定义的开始和结束，而无界流一旦开始，就没有定义的结束。Flink 能够处理具有超可扩展性和状态管理的两种流类型。 为什么要使用 Flink？ Flink 的一些常见用例可

不论是开发还是自己测试，都需要搭建flink工程，下面就一步步教大家实现第一个flink程序 1、新建一个空的maven工程

CDC 简介         CDC 即 Change Data Capture 变更数据捕获，我们可以通过 CDC 得知数据源表的更新内容（包含Insert Update 和 Delete），并将这些更新内容作为数据流发送到下游系统。捕获到的数据操作具有一个标识符，分别对应数据的增加，修改和删除。 +I：新增数据。 -U：一条数据的修改会产生两个U标识符数据。其中-U含义为修改前数据。 +U：修改之后的数据。 -D：删除的数据。 step 1 配置 mysql 开启binlog 

业务代码 // Stream流环境的输入 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // table 环境的配置及建立 采用哪种planner以及确定采用批处理还是流处理 EnvironmentSettings estSettings = EnvironmentSettings.newInstance() .useOldPlanner()

一.引言 上一篇文章讲到了 Flink 如何获取数据生成 DataSet，这篇文章主要讨论 DataSet 后续支持的 Transform 转换函数。相较于 Spark，Flink 提供了更多的 API 和更灵活的写法与实现。  Tips : 下述示例均以该 env 为基础实现 import org.apache.flink.api.scala.ExecutionEnvironment def main(args: Array[String]): Unit = {

目录 一.引言 二.KeyedState 简介 1.ValueState 2.ListState 3.ReducingState 4.AggregatingState，out> 5.MapState，uv>

一.引言 Flink 支持增加 DataStream KeyBy 之后 conncet BroadCastStream 形成 BroadConnectedStream，广播流内数据一般为不间断更新的上下文信息，在本例中，需要针对数据流中的用户信息，基于用于信息 + 广播流内的物料库实现推荐逻辑，针对 BroadConnectedStream 流，需要实现 KeyedBroadCastProcessFunction 完成用户流与广播流的处理，主要方法为: ProcessElement - 根据

一、standalone 模式 1.1上传依赖包 打开配置文件 解压依赖包 通过文件传输工具上传到 opt目录下 [root@localhost ~]# cd / [root@localhost /]# ls bin boot dev etc home jdk lib lib64 media mnt mydata opt proc root run sbin srv swapfile sys tmp usr vagrant var [ro

目录 一、时间语义 1.1 三种时间概念  1.1.1 ProcessTime 在代码中的使用 1.1.2 EventTime 在代码中的使用 1.1.3 关于窗口起始时间的计算值  二、对事件的处理 2.1 有序事件 2.2 乱序事件 2.3 指定 Timestamps 与生成 Watermarks 2.4 使用 WatermarkStrategy 工具类指定时间戳和Watermark 2.5 自定义指定 Timestamps 和 Watermarks 2.6 对迟到数

下载的flink 1.13.1版本，scala 2.11版本 按照官网，https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/try-flink/table_api/ 下载https://github.com/apache/flink-playgrounds 这个代码 第一个异常： Error: A JNI error has occurred, please check your installation

1、IDEA安装scala插件 在IDEA中找出对应的scala版本直接安装，如图在File中找到Settings 在弹出的对话框中点击Plugins,然后点击install JetBrains plugin     下面是Hello World  课堂笔记： 1、安装IDWA工具 2、IDEA工具本身不具有编译解释执行Java文件的能力，需要自己集成JDK和Scala，就不需要使用cmd （1）在IDEA中创建一个项目--scala01-->设置保存地址D：/Wor

flink 触发器 触发器确定窗口(由窗口分配程序形成)何时准备由窗口函数处理。每个WindowAssigner都带有一个默认触发器。 如果默认触发器不适合需求，我们就需要自定义触发器。 主要方法 触发器接口有五种方法，允许触发器对不同的事件作出反应 onElement()添加到每个窗口的元素都会调用此方法。 onEventTime()当注册的事件时间计时器触发时，将调用此方法。 onProcessingTime()当注册的处理时间计时器触发时，将调用此方法。 onMerge