美国Databricks推LTAP技术,宣称零副本
2026-07-06 10:57
收藏

维度网讯,Databricks 宣称推出了一项名为 LTAP(lake transactional/analytical processing)的技术,其营销口号为“一份数据,零妥协,零副本”,旨在解决 OLTP 与 OLAP 难以在同一系统中共存的难题。该技术依托开源统一分析引擎 Apache Spark 创立,依赖两款新产品:Reyden(一种新的计算引擎)和 Lakebase(基于开放对象存储的无服务器 PostgreSQL)。Databricks 试图在数据湖仓(数据湖与数据仓库的结合)的单一存储副本上统一事务、分析、流和操作数据,从而应对 OLTP 执行小型行导向读取和频繁写入,而 OLAP 执行大型列导向读取和批量写入这一根本性挑战。这一问题在数据库市场追逐 AI Agent 部署带来的工作负载时显得尤为紧迫。

然而,围绕其“零副本”声明存在争议。有数据工程师指出,LTAP 中当前 PostgreSQL 数据以 pageserver 格式作为本地存储存在,随后传播到对象存储中以 Parquet 文件格式实现长期持久性。PostgreSQL/Lakebase 可从对象存储检索数据并将 Parquet 数据重新转换回 pageserver。一位来自 Databricks 竞争对手的评论者指出,这实际上是“两份数据,不是一份”。今年 5 月的一次 PostgreSQL 会议上,Databricks 工程师 Hristo Stoyanov 和 Jonathan Katz 的幻灯片也证实了这一点,显示 pageserver 提供存储,而 Spark 分析执行器从对象存储中的镜像层拉取含完整页面图像的层文件。在 The Register 看到的一个私密消息社区中,一位 Databricks 工程师回应称,从技术上讲是两份副本,因为 pageserver 在 Neon 架构中充当缓存或物化层。其中,Lakebase 基于 Databricks 去年收购的 Neon 的技术,提供写时复制(copy-on-write)分支和自动扩展的无服务器计算。

统一 OLTP 和 OLAP 并非 Databricks 首创。2014 年,SingleStore 开始研究内存行存储和磁盘列存储,并采用分层存储技术,允许在单个系统上进行分析和事务处理。该公司于 2020 年推出的一项云数据库服务,据称能自动管理跨内存、本地缓存和对象存储三层架构的数据。针对 Databricks 关于混合事务/分析处理(HTAP)已失败的声明,SingleStore 首席技术官 Nadeem Asghar 回应称,统一 OLTP 和 OLAP 正是 HTAP 的目标,“将其改名为 LTAP 只是改变了营销。它没有改变物理现实”。他指出,Databricks 的系统上运行着三个引擎,各有自己的缓存和对数据新鲜度的判断,而“两份数据”的物理形态需要某种机制保持同步。此外,MongoDB 提供列存储索引,Oracle 的 HeatWave for MySQL 允许在事务应用上运行分析,SAP 则自 2011 年起基于内存数据库 HANA 推动实时分析。

Databricks 坚称其“零副本”声明真实,因为避免了两个需要同步的权威数据副本。在一份给 The Register 的声明中,一位 Databricks 发言人表示,在 LTAP 中,用户对数据的单一权威副本操作,它拥有 Iceberg 中的单一事实源,而其他中间内部副本属于“数据库存储层次结构”。在最近的大会上,Databricks 将其限定为数据只有一份“权威”副本或在“存储中”只有一份副本,这与 SingleStore 对其存储层“对用户透明”的描述类似。

卡内基梅隆大学(Carnegie Mellon University)数据库副教授 Andy Pavlo 指出,无论营销争论如何,Databricks 在使新引擎 Reyden 能够读取 PostgreSQL 页面方面完成了令人印象深刻的工程工作。他表示,Reyden 引擎能解释 PostgreSQL 页面内容并非易事,因为页面并非完全自包含,需返回 Neon/PostgreSQL 从目录获取元数据。该技术允许更及时的分析,且以事务安全的方式完成,无需等待数据被推送到 S3。同时,Reyden 是无状态的,可通过增加计算资源实现水平扩展。Pavlo 也承认“它们最终还是会复制数据”。

本文来自全球互联网及战略合作伙伴信息的编译与转载,仅为读者提供交流,有侵权或其它问题请及时告之,本站将予以修改或删除,未经正式授权严禁转载本文。邮箱:news@wedoany.com