黑基网 首页 资讯 IT业界 查看内容

核心分散式档案系统HDFS发展

2015-12-9 08:18| 投稿: son850318

摘要: 日本Hortonworks解决方案架构师蒋燚峰表示,Hadoop是美国Yahoo在2004年开发出来的大资料平台,在这10年之间变化非常大,现在的Hadoop平台上不再只是HDFS和MapReduce这两大系统而已, Hadoop也可以执行不同类型的资料 ...
日本Hortonworks解决方案架构师蒋燚峰表示,Hadoop是美国Yahoo在2004年开发出来的大资料平台,在这10年之间变化非常大,现在的Hadoop平台上不再只是HDFS和MapReduce这两大系统而已, Hadoop也可以执行不同类型的资料处理流程,像是即时性(Real-time)、交互式(interactive)或是记忆体式(In-memory)的资料处理。他说,Hadoop社群贡献的程式码行数也在这两年间大幅暴增,反映出越来越多企业已经接受并采用Hadoop,这也将促使Hadoop平台的进化更快。

2011年美国Yahoo的Hadoop技术部门独立成Hortonworks公司,专门从事Hadoop大资料平台的开发和开源推广,并提供技术支援。 Hortonworks已从最初24名工程师,发展成为一家全球近800名员工的软体公司,并在去年底成为股票上市公司。目前Apache Hadoop开源专案中,有三分之一的核心开发者是Hortonworks的员工,Hortonworks也是贡献最多程式码的公司,是足以左右Hadoop发展的关键开发团队。

蒋燚峰表示,目前Hadoop主要演进聚焦在HDFS和YARN架构上。 HDFS(Hadoop Distributed File System)是Hadoop平台中的分散式档案系统,可用来提供高扩充性的储存架构,如日本Yahoo的Hadoop丛集多达上千台节点,HDFS储存容量也有近55PB。 YARN则是在Hadoop2.0版本中才出现的资源管理架构平台,能让Hadoop平台同时执行MapReduce、Spark等多个应用,并统一资源管理,实现多工作流。 「YARN可说是Hadoop2.0的代名词」他说。

近年HDFS的进化将聚焦于企业功能上,蒋燚峰表示,包括Namenode的HA高可用性架构、档案系统快照、HDFS和NFS串接闸道,以及资料加密机制等四大面向,例如2年以前,Hadoop丛集的Namenode只能部署在单一机器上,容易因当机而导致整套Hadoop失效,但是现在Hadoop已经可支援在两台伺服器上建立Namenode备援架构,当其中一台当机时,会自动启用另一台主机接手。档案系统快照功能则要能对整套分散储存系统进行快照,来执行资料保护与灾难备援。第三发展是让NFS网路硬碟能挂上HDFS系统,甚至能将HDFS上的资料夹串连到其他客户端伺服器上,让外部资料更容易自动复制到Hadoop平台内使用。资料加密机制则是要让使用者能指定一个

目标是打造出开放的企业级Hadoop

Hortonworks目前主要产品是Hortonworks Data Platform(HDP),已可支援28个Hadoop平台上的不同套件或模组,蒋燚峰表示,最终目的是要打造出一个开放的企业级Hadoop产品(Open Enterprise Hadoop)。

蒋燚峰表示,HDP是唯一一个同时支持Linux和Windows的Hadoop产品,在治理面,资料从进到系统后的所有处理环节都经过统一的管理,Hortonworks提供专门做资料治理的Atlas服务,让企业用API串接HDP组件或外部工具,透过关键字搜寻到资料的每个来源,在维运面,透过统一仪表板介面管理上千台机器,也可提供自动预载功能,在云端服务平台上自动启动所需的VM。

不过,Hortonworks并非要开发出一套自有的Hadoop版本,蒋燚峰强调,HDP坚持采用百分之百的开源Hadoop版本,而不对社群版有任何客制化修改。 「Hortonworks修改的程式码都在Hadoop社群的基础架构与管理下开发,就像是Linux一样。」他说,没有任何一间公司可以超越整个社群的力量,也唯有将所有程式码都开源,所有合作伙伴才可以容易地让自家产品整合HDP。

若遇到Hortonworks协助导入的企业有客制需求时,蒋燚峰表示,也会将需求提供给Hadoop社群,或将自己修改的程式码贡献回社群,成为社群版本的功能,而不会变成私有功能。
小编推荐:欲学习电脑技术、系统维护、网络管理、编程开发和安全攻防等高端IT技术,请 点击这里 注册黑基账号,公开课频道价值万元IT培训教程免费学,让您少走弯路、事半功倍,好工作升职加薪!



免责声明:本文由投稿者转载自互联网,版权归原作者所有,文中所述不代表本站观点,若有侵权或转载等不当之处请联系我们处理,让我们一起为维护良好的互联网秩序而努力!联系方式见网站首页右下角。

1

鲜花

握手

雷人

路过

鸡蛋

刚表态过的朋友 (1 人)

  • 鲜花

    匿名

相关阅读

最新评论


新出炉

返回顶部