DuckDB
你可能会说
本地分析一个 10GB CSV,pandas 直接把内存吃爆了。
嵌入式的分析型数据库像 SQLite 一样嵌进程序,但按列存 + 向量化,能直接查 Parquet / CSV;单机分析神器,不适合多用户在线服务。
也常被叫作单机 OLAP嵌入式分析库
什么时候选它
- 数据科学本地分析、ETL 中间步骤
- 直接查 Parquet / CSV / JSON,不用先导入
- 单机 TB 级以内的分析
什么时候别选
- 多用户并发的在线服务
- 需要分布式集群(用 ClickHouse / Spark)
- 高频事务写入
容易混在一起 · 怎么分
DuckDB≠ClickHouse
DuckDB 单机零运维、直接查文件;ClickHouse 是服务端集群,面向高并发分析。
Q面试会问什么
- 问:和 SQLite 的区别?
答:都是嵌入式;DuckDB 列存 + 向量化面向 OLAP,SQLite 行存面向 OLTP。 - 问:为什么能直接查 Parquet?
答:内置文件扫描器,配合谓词下推和列裁剪,只读需要的列与行组。
延伸阅读 · 权威出处