公司网站设计与管理/百度快照优化

Delta Lake 事务日志实践

读者交流群已经开通了，有需要的可以私信进入读者交流群

前面我们介绍了Delta Lake 事务日志,具体你可以参考Delta Lake 事务日志,今天我们就借助实际操作，来看一下Delta Lake 事务日志，这里我们使用scala api 来操作

环境准备

scala 版本 2.12.10

spark 版本 3.1.2

启动命令:

spark-shell --packages io.delta:delta-core_2.12:1.0.0 --conf "spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension" --conf "spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog"

数据目录 /tmp/delta-table

写入数据 开始记录日志

目前我们的目录下没有数据

下面我们写入数据

val data = spark.range(0, 5)
data.write.format("delta").mode("o