×

scala

Spark SQL Scala版 使用 Delta Lake(04)

L L 发表于2024-06-19 浏览35524 评论0
Spark SQL 使用 Delta Lake 读者交流群已经开通了,有需要的可以私信进入读者交流群 前面我们介绍过了 Delta Lake可以解决我们数据更新和小文件合并的问题,我们知道数据湖三驾马车的特性如下: Iceberg 的设计初衷更倾向于定义一个标准、开放且通用的数据组织格式,同时屏蔽底层数据存储格式上的差异,向上提供统一的操作 API,使得不同的引擎可以通过其提供的 API 接入; Hudi 的设计初衷更像是为了解决流式数据的快速落地,并能够通过 upsert

scala

Spark SQL Shell 版 使用Delta Lake(05)

牙歪歪-行政-余周 牙歪歪-行政-余周 发表于2024-06-19 浏览36075 评论0
Spark SQL Shell 版 使用Delta Lake 读者交流群已经开通了,有需要的可以私信进入读者交流群 前面我们学了项目工程中使用Delta Lake,但是很多时候我们在学习和实验阶段,都喜欢使用Spark shell ,所以这一节我们介绍一下如何在Spark shell 中使用Delta Lake。 开始之前,我们还是强调一下版本的问题,虽然我们上次我们说过了半本的问题,但是还是有人来问,下面是版本的兼容性问题。 Delta Lake version

scala

Delta Lake与实时计算(19)

UPARK UPARK 发表于2024-05-25 浏览32649 评论0
Delta Lake与实时计算 前面我们已经花了大量的篇幅在介绍Delta Lake,而且我们介绍了多种场景中去使用Delta Lake,你可以参考下面的文章 Spark SQL Scala版 使用 Delta Lake Spark SQL Shell 版 使用Delta Lake Spark SQL SQL 版 使用 Delta Lake Spark SQL Python版 使用 Delta Lake Spark Streaming 使用 Delta Lake 今天我们来看一