Apache Hadoop版本详解

由于Hadoop版本混乱多变，因此，Hadoop的版本选择问题一直令很多初级用户苦恼。本文总结了ApacheHadoop和Cloudera Hadoop的版本衍化过程，并给出了选择Hadoop版本的一些建议。

1.Apache HadoopApache版本衍化

截至目前（2012年12月23日），ApacheHadoop版本分为两代，我们将第一代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop2.0。第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1.0.x，变成了稳定版，而0.21.x和0.22.x则NameNodeHA等新的重大特性。第二代Hadoop包含两个版本，分别是0.23.x和2.x，它们完全不同于Hadoop1.0，是一套全新的架构，均包含HDFS Federation和YARN两个系统，相比于0.23.x，2.x增加了NameNodeHA和Wire-compatibility两个重大特性。

经过上面的大体解释，大家可能明白了Hadoop以重大特性区分各个版本的，总结起来，用于区分Hadoop版本的特性有以下几个：

（1）Append支持文件追加功能，如果想使用HBase，需要这个特性。

（2）RAID在保证数据可靠的前提下，通过引入校验码较少数据块数目。详细链接：

https://issues.apache.org/jira/browse/HDFS/component/12313080

（3）Symlink支持HDFS文件链接，具体可参考：https://issues.apache.org/jira/browse/HDFS-245

（4）SecurityHadoop安全，具体可参考：https://issues.apache.org/jira/browse/HADOOP-4487

（5）NameNodeHA具体可参考：https://issues.apache.org/jira/browse/HDFS-1064

（6）HDFSFederation和YARN

需要注意的是，Hadoop2.0主要由Yahoo独立出来的hortonworks公司主持开发。

Apache版本下载

（1）各版本说明：http://hadoop.apache.org/releases.html。

（2）下载稳定版：找到一个镜像，下载stable文件夹下的版本。

（3）Hadoop最全版本：http://svn.apache.org/repos/asf/hadoop/common/branches/，可直接导到eclipse中。

2.Cloudera HadoopCDH版本衍化

Apache当前的版本管理是比较混乱的，各种版本层出不穷，让很多初学者不知所措，相比之下，Cloudera公司的Hadoop版本管理的要很多。

我们知道，Hadoop遵从Apache开源协议，用户可以免费地任意使用和修改Hadoop，也正因此，市面上出现了很多Hadoop版本，其中比较出名的一是Cloudera公司的发行版，我们将该版本称为CDH（ClouderaDistributionHadoop）。截至目前为止，CDH共有4个版本，其中，前两个已经不再更新，最近的两个，分别是CDH3（在Apache Hadoop0.20.2版本基础上演化而来的）和CDH4在Apache Hadoop2.0.0版本基础上演化而来的），分别对应Apache的Hadoop 1.0和Hadoop2.0，它们每隔一段时间便会更新一次。

Cloudera以patch level划分小版本，比如patch level为923.142表示在原生态Apache Hadoop0.20.2基础上添加了1065个patch（这些patch是各个公司或者个人贡献的，在Hadoopjira上均有记录），其中923个是最后一个beta版本添加的patch，而142个是稳定版发行后新添加的patch。由此可见，patchlevel越高，功能越完备且解决的bug越多。

Cloudera版本层次更加清晰，且它提供了适用于各种操作系统的Hadoop安装包，可直接使用apt-get或者yum命令进行安装，更加省事。

CDH版本下载

（1）版本含义介绍：

https://ccp.cloudera.com/display/DOC/CDH+Version+and+Packaging+Information

（2）各版本特性查看：

https://ccp.cloudera.com/display/DOC/CDH+Packaging+Information+for+Previous+Releases

（3）各版本下载：

CDH3：http://archive.cloudera.com/cdh/3/

CDH4：http://archive.cloudera.com/cdh4/cdh/4/

注意，Hadoop压缩包在这两个链接中的最上层目录中，不在某个文件夹里，很多人进到链接还找不到安装包！

3.如何选择Hadoop版本

当前Hadoop版本比较混乱，让很多用户不知所措。实际上，当前Hadoop只有两个版本：Hadoop1.0和Hadoop 2.0，其中，Hadoop1.0由一个分布式文件系统HDFS和一个离线计算框架MapReduce组成，而Hadoop2.0则包含一个支持NameNode横向扩展的HDFS，一个资源管理系统YARN和一个运行在YARN上的离线计算框架MapReduce。相比于Hadoop1.0，Hadoop 2.0功能更加强大，且具有更好的扩展性、性能，并支持多种计算框架。

当我们决定是否采用某个软件用于开源环境时，通常需要考虑以下几个因素：

（1）是否为开源软件，即是否免费。

（2）是否有稳定版，这个一般软件官方网站会给出说明。

（3）是否经实践验证，这个可通过检查是否有一些大点的公司已经在生产环境中使用知道。

（4）是否有强大的社区支持，当出现一个问题时，能够通过社区、论坛等网络资源快速获取解决方法。

考虑到以上几个因素，我们分析一下开源软件Hadoop。对于Hadoop2.0而言，目前尚不稳定，无法用于生产环境，因此，如果当前你正准备使用Hadoop，那么只能从Hadoop1.0中选择一个版本，而目截至目前（2012年12月23日），Apache和Cloudera最新的稳定版分别是Hadoop1.0.4和CDH3U4，因此，你可以从中任选一个使用。

总结

以上所述是小编给大家介绍的Apache Hadoop版本详解，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对网站的支持！

# apache  # hadoop版本  # hadoop重新格式化HDFS步骤解析  # hadoop是什么语言  # hadoop格式化HDFS出现错误解决办法  # Java执行hadoop的基本操作实例代码  # Linux中安装配置hadoop集群详细步骤  # 详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境  # Hadoop多Job并行处理的实例详解  # 几个  # 稳定版  # 基础上  # 开源  # 离线  # 截至目前  # 而来  # 各版  # 可直接  # 小编  # 不知所措  # 的是  # 安装包  # 出了  # 你可以  # 在这  # 在此  # 管理系统  # 一是  # 找不到 

相关文章： 山东网站制作公司有哪些,山东大源集团官网？  GML (Geography Markup Language)是什么，它如何用XML来表示地理空间信息？  大学网站设计制作软件有哪些,如何将网站制作成自己app？  如何在阿里云香港服务器快速搭建网站？  如何高效配置香港服务器实现快速建站？  外贸公司网站制作,外贸网站建设一般有哪些步骤？  高防服务器租用指南：配置选择与快速部署攻略  韩国代理服务器如何选？解析IP设置技巧与跨境访问优化指南  如何通过宝塔面板实现本地网站访问？  怀化网站制作公司,怀化新生儿上户网上办理流程？  建站之星2.7模板快速切换与批量管理功能操作指南  江苏网站制作公司有哪些,江苏书法考级官方网站？  网站网页制作专业公司,怎样制作自己的网页？  完全自定义免费建站平台：主题模板在线生成一站式服务  建站主机服务器选型指南与性能优化方案解析  营销式网站制作方案,销售哪个网站招聘效果最好？  桂林网站制作公司有哪些,桂林马拉松怎么报名？  如何快速搭建高效简练网站？  音乐网站服务器如何优化API响应速度？  制作宣传网站的软件,小红书可以宣传网站吗？  北京网站制作网页,网站升级改版需要多久？  建站之星免费版是否永久可用？  免费公司网站制作软件,如何申请免费主页空间做自己的网站？  网站制作网站,深圳做网站哪家比较好？  在线流程图制作网站手机版,谁能推荐几个好的CG原画资源网站么？  C#怎么创建控制台应用 C# Console App项目创建方法  常州自助建站工具推荐：低成本搭建与模板选择技巧  建站之星如何快速解决建站难题？  高配服务器限时抢购：企业级配置与回收服务一站式优惠方案  北京网页设计制作网站有哪些,继续教育自动播放怎么设置？  宁波自助建站系统如何快速打造专业企业网站？  建站之星如何一键生成手机站？  如何在Golang中实现微服务服务拆分_Golang微服务拆分与接口管理方法  网站建设制作、微信公众号,公明人民医院怎么在网上预约？  零服务器AI建站解决方案：快速部署与云端平台低成本实践  如何获取开源自助建站系统免费下载链接？  微信h5制作网站有哪些,免费微信H5页面制作工具？  网站制作多少钱一个,建一个论坛网站大约需要多少钱？  再谈Python中的字符串与字符编码（推荐）  高防服务器如何保障网站安全无虞？  c++怎么编写动态链接库dll_c++ __declspec(dllexport)导出与调用【方法】  如何在西部数码注册域名并快速搭建网站？  如何选择高效可靠的多用户建站源码资源？  h5网站制作工具有哪些,h5页面制作工具有哪些？  杭州银行网站设计制作流程,杭州银行怎么开通认证方式？  建站之星ASP如何实现CMS高效搭建与安全管理？  保定网站制作方案定制,保定招聘的渠道有哪些？找工作的人一般都去哪里看招聘信息？  弹幕视频网站制作教程下载,弹幕视频网站是什么意思？  非常酷的网站设计制作软件,酷培ai教育官方网站？  南宁网站建设制作定制,南宁网站建设可以定制吗？