ThinkChat2.0新版上线,更智能更精彩,支持会话、画图、阅读、搜索等,送10W Token,即刻开启你的AI之旅 广告
Catalyst优化器是Spark SQL的核心,Catalyst Optimizer(Catalyst优化器)将Spark SQL的 **逻辑计划** 转为可执行的 **物理计划**,即Catalyst优化器将SQL类似的 Spark 程序代码被 Spark Core 调度执行,其过程也有 Job、Stage、Task 的概念。 :-: ![](https://img.kancloud.cn/a0/c4/a0c4377187d5eadd4bff522d6902398d_1115x406.png) Catalyst转换过程 例如有下面的SQL: ```sql SELECT name FROM ( SELECT id, name FROM people ) p WHERE p.id = 1 ``` 优化过程: (1)在投影上面查询过滤器 (2)检查过滤是否可下压 :-: ![](https://img.kancloud.cn/f1/12/f112e6e6448f60cce4e224cda0bef6cf_700x301.png) Catalys优化过程