1、IDEA安装scala插件 在IDEA中找出对应的scala版本直接安装，如图在File中找到Settings 在弹出的对话框中点击Plugins,然后点击install JetBrains plugin     下面是Hello World  课堂笔记： 1、安装IDWA工具 2、IDEA工具本身不具有编译解释执行Java文件的能力，需要自己集成JDK和Scala，就不需要使用cmd （1）在IDEA中创建一个项目--scala01-->设置保存地址D：/Wor

flink 触发器 触发器确定窗口(由窗口分配程序形成)何时准备由窗口函数处理。每个WindowAssigner都带有一个默认触发器。 如果默认触发器不适合需求，我们就需要自定义触发器。 主要方法 触发器接口有五种方法，允许触发器对不同的事件作出反应 onElement()添加到每个窗口的元素都会调用此方法。 onEventTime()当注册的事件时间计时器触发时，将调用此方法。 onProcessingTime()当注册的处理时间计时器触发时，将调用此方法。 onMerge

系统环境：CentOS7.8 flink版本：下载和Scala版本对应的 flink官方下载地址：https://flink.apache.org/downloads.html 查看jdk [root@localhost bin]# java -version java version "1.8.0_162" Java(TM) SE Runtime Environment (build 1.8.0_162-b12) Java HotSpot(TM) 64-Bit Server VM (b

学习致谢： https://www.bilibili.com/video/BV1Gt4y1z7bR?p=2 框架版本 编程语言 Flink官方提供了Java、Scala、Python语言接口用以开发Flink应用程序，但是Flink的源码是使用Java语言进行开发的，且Flink被阿里收购后，未来的主要编程语言都一直会是Java（因为阿里是Java重度使用者! )，且GitHub上关于Flink的项目，大多数是使用Java语言编写的。所以课程中以Java语言为主进行Flink的

SQL Client旨在提供一种简单的方式来编写、调试表程序，并向Flink集群提交表程序，而不需要一行Java或Scala代码。SQL Client CLI允许在命令行上检索和可视化运行的分布式应用程序的实时结果。 1. 简单使用 使用简单，即在里面直接写sql即可，比如： ./bin/sql-client.sh 启动client，然后就可以进行sql的编写了，如下： --实现MySQL CDC写往另外一个MySQL表 CREATE TABLE a1 (      aid I

在使用map，flatMap 算子的过程中想把pojo 转换成Tuple 类型进行输出，在编码的过程中正常，运行是出现异常 flink version 1.13 scala 2.12 jdk 1.8 1、问题 1.1、 报错关键日志 org.apache.flink.api.common.functions.InvalidTypesException: The return type of function 'main(Stream.java:287)' could

目录 测试用source JDBCsource 读取 Kafka数据 常见的Source可以分为大概4类： 1、基于本地集合的 source 2、基于文件的 source 3、基于网络套接字的 source 4、自定义的 source 常见的有 Apache kafka、Amazon Kinesis Streams、RabbitMQ、Twitter Streaming API、Apache NiFi 等，当然你也可以定义自己的 source 首先了解一下常见的测试source

yarn集群模式提交Flink任务时，无法查看日志，数据传输都正常，taskManager的日志无法显示，找不到方法。 F12查看接口报错， 具体报错如下： Exception on server side: org.apache.flink.util.FlinkException: The file LOG is not available on the TaskExecutor. at org.apache.flink.runtime.taskexecutor.TaskExecu

背景介绍      由于平时工作使用 Spark 较多，在 WordCount 这一个小 Demo 中，我也好奇，同为大数据计算组件，且同为 scala，会有多少不同？我相信能从中了解 Flink，Spark的设计逻辑的不同，我认为能在小的 Demo 中获得思考，管中窥豹，对 Flink 有更深的了解。 带着疑问去学习 Flink 的 WordCount 程序： Spark, Flink 批处理，Flink 流处理 3者，在有何不同？ 声明会话方式? 处理中的 map 算子有何不同？

一.引言 Flink 流处理用于处理源源不断的数据，之前介绍过 processFunction，该方法会对单个元素进行处理，除此之外，还有一种批量数据处理的方法就是 TimeWindow 以及 TimeWindowAll，Flink 时间窗口可以看作是对无线数据流设置的有限数据集，即流处理框架下的批处理。窗口下又分为 CountWindow 和 TimeWindow，之前介绍窗口 Trigger 已经介绍过，有兴趣的同学可以回看。本文主要介绍  TimeWindow 且示例均采用 Proces

1、Flink简介 看到下面这只可爱的松鼠，显然它不仅是一直普通的松鼠，它还是Flink的项目logo，我们都知道计算机领域很多应用和项目都会使用一只动物作为代表。先来看看这只小动物的意义！ 在德语中，Flink 一词表示快速和灵巧，项目采用一只松鼠的彩色图案作为 logo与之呼应，因为柏林的松鼠有一种迷人的红棕色，而 Flink 的松鼠 logo 拥有可爱的尾巴，尾巴的颜色与 Apache 软件基金会的 logo 颜色相呼应，也就是说，这是一只 Apache 风格的松鼠

1. 什么是Table API & SQL Table API& SQL 是一种关系型API，用户可以像操作MySQL数据库表一样的操作数据，而不需要写Java代码完成flink function，更不需要手工的优化Java代码调优。SQL对一个非程序员操作来讲，学习成本很低，如果一个系统提供SQL支持，将很容易被用户接受。 总结来说，关系型API的好处： 关系型API是声明式的 查询能够被有效的优化 查询可以高效的执行 “Everybody” kn