Deequ

在数据工程中应用好的软件工程实践时，仍然存在一些工具上的空白。在尝试在数据管道的不同步骤之间自动化数据质量检查时，我们的一个团队惊讶地发现，在这个领域中只有很少的工具。他们定居在Deequ，用于编写类似于数据集单元测试的测试的库。迪曲是建立在Apache火花，即使它是由AWS Labs发布的，它也可以在其他环境中使用AWS．