首页 » 技术SOS » 工业电子 » 其他 » hadoop1.x和2.x架构上的区别?

hadoop1.x和2.x架构上的区别?

菜鸟
2022-10-26 11:31:15

hadoop1.x和2.x架构上的区别?


分享
关键词: hadoop1.x, 构上  
菜鸟
2022-10-26 12:42:10
1楼

(1)Hadoop 1.0

Hadoop 1.0即第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中,HDFS由一个NameNode和多个DataNode组成,MapReduce由一个JobTracker和多个TaskTracker组成,对应Hadoop版本为Apache Hadoop 0.20.x、1.x、0.21.X、0.22.x和CDH3。

(2)Hadoop 2.0

Hadoop 2.0即第二代Hadoop,为克服Hadoop 1.0中HDFS和MapReduce存在的各种问题而提出的。针对Hadoop 1.0中的单NameNode制约HDFS的扩展性问题,提出了HDFS Federation,它让多个NameNode分管不同的目录进而实现访问隔离和横向扩展,同时它彻底解决了NameNode 单点故障问题;针对Hadoop 1.0中的MapReduce在扩展性和多框架支持等方面的不足,它将JobTracker中的资源管理和作业控制功能分开,分别由组件ResourceManager和ApplicationMaster实现,其中,ResourceManager负责所有应用程序的资源分配,而ApplicationMaster仅负责管理一个应用程序,进而诞生了全新的通用资源管理框架YARN。基于YARN,用户可以运行各种类型的应用程序(不再像1.0那样仅局限于MapReduce一类应用),从离线计算的MapReduce到在线计算(流式处理)的Storm等。Hadoop 2.0对应Hadoop版本为Apache Hadoop 0.23.x、2.x和CDH4。

学习可关注:人工智能技术与咨询,更多详情可咨询175-3102-1189(v同号),联系人:申老师。

qq群:189696007;或到我司官网了解:https://www.chinaai.org.cn/。


高工
2022-10-29 14:41:47
2楼

Hadoop 1.x 的主要核心组成是MapReduce和HDFS。MapReduce不仅负责数据的计算,而且负责集群作业调度和资源(内存,CPU)管理,HDFS负责数据的存储。


Hadoop 2.x 在原来的基础上引入了新的框架YARN。YARN负责集群资源管理和统一调度,而MapReduce功能变得单一,其运行于YARN之上,只负责进行数据的计算。由于YARN具有通用性,因此YARN也可以作为其他计算框架(例如。Spark,Storm等)的资源管理系统,不仅仅限于MapReduce.



高工
2022-11-29 13:59:28
3楼

看下啊

菜鸟
2022-12-06 15:59:43
4楼

这边有专业团队给您提供申请专利的方案开发,专家给您布局,薇zf15984496907】人的才华就如海绵的水,没有外力的挤压,它是绝对流不出来的


专家
2023-09-18 23:11:11
5楼

学习一下


高工
2023-10-24 23:22:40
6楼

没看懂啊