NIUCLOUD是一款SaaS管理后台框架多应用插件+云编译。上千名开发者、服务商正在积极拥抱开发者生态。欢迎开发者们免费入驻。一起助力发展! 广告
* 分区大小限制为2GB * 分区太少 * 不利于并发。 * 更容易受数据倾斜影响。 * groupBy、reduceByKey、sortByKey等内存压力增大。 * 分区过多 * Shuffle开销越大。 * 创建任务开销越大。 * 经验 * 每个分区大约128MB。 * 如果分区小于但接近2000,则设置为大于2000。