三角洲湖

三角洲湖是一个开源存储层，由Databricks实现，试图将ACID事务引入大数据处理。在我们Databricks-enabled数据湖或数据网格在项目中，我们的团队仍然更喜欢使用Delta Lake存储，而不是直接使用文件存储类型S3或ADLS．当然，这仅限于使用支持的存储平台的项目三角洲湖当使用拼花文件格式。在需要文件级事务的情况下，Delta Lake促进并发数据读写。我们发现Delta Lake与Apache Spark的无缝集成批处理和micro-batchapi非常有用，特别是像时间旅行-在特定时间点访问数据或提交回退-以及模式演化支持写;尽管这些特性有一些限制。

三角洲湖是Databricks的一个开源存储层，试图将交易引入大数据处理。这是我们在使用时经常遇到的问题之一Apache火花缺少ACID事务。Delta Lake集成了Spark API，通过使用事务日志和版本控制来解决这个问题拼花文件。通过其可序列化的隔离，它允许并发的读取器和写入器对Parquet文件进行操作。其他受欢迎的特性包括对写入和版本控制的模式强制，这允许我们在必要时查询和恢复到旧版本的数据。我们已经开始在我们的一些项目中使用它，并且非常喜欢它。