企业🤖AI智能体构建引擎,智能编排和调试,一键部署,支持私有化部署方案 广告
Hadoop1.x 和 Hadoop2.x 在架构上有很大的区别。 <br/> Hadoop1.x 主要由 HDFS 和 MapReduce 构成。 Hadoop2.x 主要由 HDFS(分布式文件系统)、YARN(分布式资源管理系统)、MapReduce(分布式计算框架) 构成。<br/> 在 Hadoop1.x 时代,Hadoop 中的 MapReduce 同时处理业务逻辑运算和资源的调度,耦合性较大。还有一个比较大的问题是 Hadoop1.x 只能运行 MapReduce程序。<br/> 在 Hadoop2.x 时代,分离了 MapReduce 部分功能,将资源调度和运算分开,增加了 Yarn。 * Yarn 只负责资源的调度; * MapReduce 只负责运算; 而且 Yarn 不仅仅能运行 MapReduce 程序,还可以运行后面会学习的 Spark 应用程序。可以说 Yarn 目前发展成为一个通用的资源调度框架。很多计算框架都支持在 Yarn 上运行。