💎一站式轻松地调用各大LLM模型接口,支持GPT4、智谱、豆包、星火、月之暗面及文生图、文生视频 广告
数据量小的时候无所谓,数据量大的情况下,由于于`COUNT DISTINCT`操作需要用一个Reduce Task来完成,这一个Reduce需要处理的数据量太大,就会导致整个Job很难完成,一般`COUNT DISTINCT`使用先`GROUP BY`再`COUNT`的方式替换。 ```sql hive (default)> select count(distinct id) from bigtable; 优化如下: hive (default)> select count(id) from (select id from bigtable group by id) a; ```