选型

DuckDB

你可能会说

本地分析一个 10GB CSV,pandas 直接把内存吃爆了。

嵌入式的分析型数据库像 SQLite 一样嵌进程序,但按列存 + 向量化,能直接查 Parquet / CSV;单机分析神器,不适合多用户在线服务。
也常被叫作单机 OLAP嵌入式分析库
先问一句单机分析大文件?
默认DuckDB→擅长列存直查文件→别用多用户在线服务
成熟度试验

什么时候选它

  • 数据科学本地分析、ETL 中间步骤
  • 直接查 Parquet / CSV / JSON,不用先导入
  • 单机 TB 级以内的分析

什么时候别选

  • 多用户并发的在线服务
  • 需要分布式集群(用 ClickHouse / Spark)
  • 高频事务写入
容易混在一起 · 怎么分
DuckDB≠ClickHouse

DuckDB 单机零运维、直接查文件;ClickHouse 是服务端集群,面向高并发分析。

Q面试会问什么

  • 问:和 SQLite 的区别?
    答:都是嵌入式;DuckDB 列存 + 向量化面向 OLAP,SQLite 行存面向 OLTP。
  • 问:为什么能直接查 Parquet?
    答:内置文件扫描器,配合谓词下推和列裁剪,只读需要的列与行组。
延伸阅读 · 权威出处