一、编写和传递转换函数 1、Spark中的函数式编程（Functional Programming in Spark） 函数式编程的关键概念 函数是编程的基本单元 函数只有输入和输出 无状态或副作用 函数可以作为参数传递给其他函数 也称为过程参数 Spark的架构基于函数式编程 传递的函数可以由多个执行器并行执行 2、RDD转换程序（RDD Transformation Procedures ） RDD转换执行一个转换过程 将

一、【SparkCore篇】项目实战—电商用户行为分析 前言：数据准备 我们看看在实际的工作中如何使用这些 API 实现具体的需求。这些需求是电商网站的真实需求，所以在实现功能前，咱们必须先将数据准备好。 上面的数据图是从数据文件中截取的一部分内容，表示为电商网站的用户行为数据，主要包含用户的 4 种行为：搜索，点击，下单，支付。 1、数据规则如下: 数据文件中每行数据采用下划线分隔数据 每一行数据表示用户的一次行为，这个行为只能是 4 种行为的一种 如果搜索关键字为

💖个人主页：@与自己作战💯作者简介：CSDN@博客专家、CSDN@大数据领域优质创作者、CSDN@内容合伙人、阿里云@专家博主🆘希望大佬们多多支持，携手共进📝 如果文章对你有帮助的话，欢迎评论💬点赞👍收藏📂加关注⛔如需要支持请私信我，💯必支持 一、kafka配置(cdh-master-v01) 1、kafka创建topic kafka-topics --zookeeper cdh-client-v01.yunes.com:2181,cdh-master-v01.

有道友需要parcel，笔者就重新编译了一份，已经编译并成功集成到CDH的资源已上传，有需自取https://download.csdn.net/download/weixin_56131938/85114925 一、安装包准备 CDH 6.3.2(Hadoop 3.0.0)、Flink 1.12.4、flink-shaded-12.0、Centos7.9、Maven 3.6.3、Scala-2.13.6和JDK1.8.0_291 笔者是在搭建好的CDH集群中集成Flink flin

建议在cm节点操作，git、maven已安装并可以访问外网，httpd服务已开通 一、flink1.13.0-parcel包制作 下载制作包flink-parcel：git clone https://gitee.com/abram-guo/flink-parcel-master.git 修改flink-parcel.properties配置文件（cdh5.15，flink1.13，scala2.11） #FLINk 下载地址 FLINK_URL=https://archive.apa

所有资源免费下载 !!! 不收费!!! 不收费!!! 不收费!!! 你好！ 由于现在CDH官方需要订阅付费才能下载相关CDH/CM等资源 , 收录了以下几个版本的资源 , 请自选下载 !!! 如有疑问请私信!!! CDH 以下为 CDH 资源下载链接 CDH-6.3.2 链接 : https://pan.baidu.com/s/1Vd9ZaXcKG0JDCDszTtasjQ 提取码 : oycp CDH-6.3.1 链接 : https://pan