【TDengine】存储引擎如何实现列式存储和时间分区？

TDengine 3.4.x 存储引擎深度剖析：列式存储与时间分区的工业 IoT 实践引言：从一次磁盘 I/O 瓶颈说起用户问题原文：“存储引擎如何实现列式存储和时间分区？”对于一位拥有 8 年大数据生态（Spring/Flink/ClickHouse/Hudi/Kafka/Parquet）开发经验的工程师而言，你对列式存储（如 Parquet, ORC）和分区策略（如 Hive 分区）早已了然于胸。然而，当面对工业 IoT 设备监控这类场景——数百万设备、每秒上报数十个指标、数据需保留数年——通用的大数据格式往往显得笨重且延迟过高。TDengine 的存储引擎正是为解决此类极端场景而生。它并非简单地套用现有列存方案，而是设计了一套深度耦合时序特性的、自研的列式存储与时间分区机制。这套机制使得 TDengine 能在单节点上轻松处理百万级设备的写入，并在毫秒内完成跨设备、跨时间段的聚合查询。本文将基于TDengine 3.4.x 社区版，深入其src/vnode/src/tsdb源码目录，全面解析其存储引擎的核心设计。我们将通过一个真实的工业 IoT 场景——“查询过去24小时内所有温度传感器的平均值，并按工厂区域分组”——来揭示其如何通过精妙的列存布局和时间分区策略，实现极致的写入吞吐与查询性能。