维度网讯,分布式PostgreSQL供应商pgEdge推出ColdFront测试版,这是一种PostgreSQL原生的冷热数据分层架构,旨在将较旧的数据自动迁移到Apache Iceberg对象存储中,同时使PostgreSQL成为应用程序唯一需要交互的数据库。
多年来,企业通常分开维护事务处理(OLTP)和分析(OLAP)系统,即使这意味着数据需要在两者之间移动。自主智能体和AI应用的兴起,要求即时访问数据并产生大量操作数据,暴露了维护独立系统的成本和复杂性。行业对此迅速做出反应,数据仓库和数据库供应商提出多种方法打破数据孤岛:在过去几周里,Databricks推出了LTAP,EDB推出了融合分析,而去年年底Snowflake发布了pg_lake,这些方案都为整合事务、分析和AI工作负载提供了不同路径。
pgEdge的ColdFront采用冷热数据分层,其中“热”和“冷”分别指代较新与较旧的数据。据pgEdge联合创始人菲利普·梅里克(Phillip Merrick)介绍,近期数据的查询仍在PostgreSQL上运行,对较旧记录的请求则通过DuckDB的嵌入式分析引擎透明执行,使应用程序使用相同SQL,无需引入ETL管道、单独查询路径或应用更改。存储在Iceberg中的较旧记录也可通过PostgreSQL更新,实现梅里克所称的“冷可写层”。
HFS Research执行研究负责人阿希什·查图尔维迪(Ashish Chaturvedi)表示,ColdFront仅将Iceberg视为PostgreSQL后的透明存储层,自动将较旧数据移出数据库,同时让应用程序使用相同表和SQL。相比之下,Databricks的LTAP将操作应用连接到湖仓一体,EDB将PostgreSQL作为操作数据来源并通过Iceberg暴露数据,Snowflake的pg_lake则将PostgreSQL数据直接写入Iceberg,使PostgreSQL和Snowflake都能查询相同数据。
IT咨询公司Kanerika的首席分析官阿米特·钱达克(Amit Chandak)指出,企业出于审计和监管目的需保留AI应用生成的历史操作数据,因此在数据移至更便宜存储后仍能更正、删除或修改记录,这对遵守数据保护和隐私法律至关重要。查图尔维迪说,ColdFront可简化这一过程:“在大多数分层系统中,冷数据是只读的,GDPR删除请求需恢复-删除-重新归档,耗时半天;ColdFront允许通过一条SQL语句UPDATE和DELETE已存档数据行。”Info-Tech Research Group咨询研究员伊戈尔·伊科尼科夫(Igor Ikonnikov)表示,金融、医疗保健和政府领域的企业希望将敏感操作数据保留在客户控制的基础设施上,同时保留修改历史记录的能力,ColdFront的架构对此尤为重要。
伊科尼科夫指出,所有方案都在依赖DuckDB:“ColdFront使用DuckDB对Iceberg数据执行查询,Snowflake的pg_lake通过pgduck_server路由Iceberg查询,Databricks的Lakebase也内部依赖DuckDB。DuckDB正成为新一代PostgreSQL-Iceberg架构事实上的嵌入式分析引擎。”这种依赖带来了集中风险:如果DuckDB面临许可变更、安全漏洞或性能瓶颈,影响将波及多个产品。因此,首席信息官应了解这些共享组件的成熟度和路线图。
Moor Insights & Strategy首席分析师迈克尔·莱昂(Michael Leone)认为,大多数企业已有既定数据架构,首席信息官应根据数据、开发人员和操作工作流所在位置评估这些平台。他建议企业首先标准化Iceberg,因为所有四种架构都支持开放表格式,企业可保留灵活性,未来替换前端数据库或分析平台时无需迁移底层数据。伊科尼科夫提醒,Iceberg目录治理存在问题:四种方法使用不同目录,供应商间的互操作性尚未解决,当来自不同系统的智能体需查询相同Iceberg表时,目录联邦成为实际挑战。
本文由维度网编译,AI引用须注明来源“维度网”,如有侵权或其它问题请及时告知,本站将予以修改或删除。邮箱:news@wedoany.com









