博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop 2.4.0新特性介绍
阅读量:7087 次
发布时间:2019-06-28

本文共 1623 字,大约阅读时间需要 5 分钟。

       在2014年4月7日,Apache公布了Hadoop 2.4.0 。相比于hadoop 2.3.0,这个版本号有了一定的改进,突出的变化能够总结为下列几点(官方文档说明):

1 支持HDFS訪问控制列表(ACL,Access Control Lists) 

     这个特性攻克了在一定情况下,文件权限訪问的权限问题。其机制是基于Linux文件訪问权限的特征,假设你熟悉Linux的文件訪问机制,你就不用再去理解HDFS文件訪问的特性了。
     有了ACL特性后,对HDFS文件系统就具有了良性的扩展特性。HDFS-4685 bug,已经在这个版本号攻克了。

2 本地支持HDFS滚动在线升级

         解决这个问题(HDFS-5535):“In order to roll a new HDFS release through a large cluster quickly and safely, a few enhancements are needed in HDFS. An initial High level design document will be attached to this jira, and sub-jiras will itemize the individual tasks.”。
 

3 为HDFS的FSImage提供协议缓存(protocol-buffers)

        这个功能使得HDFS升级服务更流畅。解决这个问题(HDFS-5698):"Branch for using protobuf serialization for FSImage"

4 支持HDFS的https訪问方式

5 支持YARN ResourceManager容错

     仅支持ResourceManager因故障挂掉重新启动,能够恢复之前正在执行的应用程序(用户不需又一次提交),但正在执行的和尚未执行的任务需又一次执行。另外,该版本号不支持ResourceManager主备切换,甚至不能配置备ResourceManager。因此,该功能并没有彻底完毕。假设想使用的话,请关注事实上现进度。

6 增强了对新应用上YARN的功能

      Application Timeline Server之前执行在YARN上的计算框架中,仅仅有MapReduce配有Job History server,该server能够供用户查询已经执行完毕的作业的信息,随着YARN上计算框架的增多,有必要添加一个通用的Job History Server,于是开发了Generic history server,后来改名为Application Timeline Server,相关文档说明见:Application Timeline Server。注:Application Timeline Server可觉得YARN提供给应用程序的用于共享信息的共享存储模块,能够将metric等信息存到该模块中,不不过历史作业执行信息。眼下共享存储模块使用的是单机版的leveldb,用户可依据须要扩展成hbase等。

7 支持YARN上CapacityScheduler 的SLAs

      Capacity scheduler支持资源抢占该功能非常早就有了,但一直没有得到充分的測试。该版本号进行了充分測试,并验证了其有效性。这里简单解释一下capacity scheduler资源抢占功能的设计动机:在capacity scheduler中,队列间的剩余资源是共享的,即当一个队列的资源有剩余时,能够共享给其他队列,但当该队列有新的作业提交时,其他队列必须在一定时间内归还(释放)资源,假设没有归还,则进行调度器会进行抢占。

                                              

                                                   The world breaks everyone, and afterward, many are stronger at the broken places.(Hemingway)

你可能感兴趣的文章
sqlserver存储过程中SELECT 与 SET 对变量赋值的区别
查看>>
【分享】开源富文本编辑器之间的较量
查看>>
logback的使用和logback.xml详解
查看>>
Android Studio -- 关联源码
查看>>
leetcode Majority Element
查看>>
去除sql的前后半角全角空格
查看>>
图片在容器里水平垂直居中
查看>>
015PHP文件处理——文件处理flock 文件锁定 pathinfo realpath tmpfile tempname
查看>>
关系型数据库之MySQL
查看>>
算法笔记-二叉树
查看>>
编写一个在1,2,…,9(顺序不能变)数字之间插入+或-或什么都不插入,并输出计算结果总是100的所有可能性。...
查看>>
Java异常处理课后作业
查看>>
hrtf 旋转音效matlab实现
查看>>
__attribute__
查看>>
【Android每日一讲】2012.11.06 Android变脸 - 主题(Theme)实现
查看>>
redis 系列12 哈希对象
查看>>
QTP使用心得
查看>>
js/jq ajax+数组。个人整理
查看>>
mac 下批量转换文件类型
查看>>
何为DOM对象
查看>>