hive cbo优化引起的bug

hive.stats.fetch.column.stats导致reduce个数划分太小 有一个任务,在混部集群默认开启,导致任务reduce个数太小,只启了2
  1. hive.stats.fetch.column.stats导致reduce个数划分太小

    有一个任务,在混部集群默认开启,导致任务reduce个数太小,只启了2个reducetask,而maptask中读取的数据又很大,使得大量数据都写到这2个reduce task中,任务最终失败,在关闭这个参数后,可以启动1100个reducetask。

    怎么发现这个问题的:

    对比执行计划,在开启这个参数后,hive 认为只会读取50000多行数据,而实际上是几十亿

在这里插入图片描述