你有把鸡蛋砸在一个篮子里的经历吗?

  • 时间:
  • 浏览:1
  • 来源:大发快3APP下载—大发时时彩登录地址

总体上讲,HA出理 的难度取决于Master自身记录信息的十好多个 和信息可重构性,将会记录的信息非常庞大且不可动态重构,比如NameNode,则不需要 有有有十好多个 可靠性与性能均很高的共享存储系统,而将会Master保存有越来太多越来太多信息,但绝大多数可通过Slave动态重构,则HA出理 最好的辦法 则容易得多,典型代表是MapReduce和YARN。从另外有有有十好多个 淬硬层 看,将会计算框架对信息丢失都会非常敏感,比如有有有十好多个 将会完成的任务信息丢失,只需重算即可获取,使得计算框架的HA设计难度远低于存储类系统。

在Hadoop HA中,主要由以下十好多个 组件构成:

(1)MasterHADaemon:与Master服务运行在同有有有十好多个 应用应用多多线程 中,可接收内部人员RPC命令,以控制Master服务的启动和停止;

(2)SharedStorage:共享存储系统,active master将信息写入共享存储系统,而standby master则读取该信息以保持与active master的同步,从而减少切换时间。常用的共享存储系统有zookeeper(被YARN HA采用)、NFS(被HDFS HA采用)、HDFS(被MapReduce HA采用)和类bookeeper系统(被HDFS HA采用)。

(3)ZKFailoverController:基于Zookeeper实现的切换控制器,主要由有有有十好多个 核心组件构成:ActiveStandbyElector和HealthMonitor,其中,ActiveStandbyElector负责与zookeeper集群交互,通过尝试获取全局锁,以判断所管理的master进入active还是standby状态;HealthMonitor负责监控各个活动master的状态,以根据它们状态进行状态切换。。

(4)Zookeeper集群:核心功能通过维护一把全局锁控制整个集群有且仅有有有有十好多个 active master。当然,将会ShardStorge采用了zookeeper,则都会记录某些某些状态和运行时信息。

说下Hadoop中的单点出理 方案

在正式介绍单点故障出理 方案这样 ,先简要回顾一下这有有有十好多个 系统(有有有十好多个 系统均采用简单的master/slaves架构,其中master是单点故障)。

(1) HDFS:仿照google GFS实现的分布式存储系统,由NameNode和DataNode有一种 服务组成,其中NameNode是存储了元数据信息(fsimage)和操作日志(edits),将会它是唯一的,其可用性直接决定了整个存储系统的可用性;

(2)YARN:Hadoop 2.0中新引入的资源管理系统,它的引入使得Hadoop不再局限于MapReduce一类计算,本来支持比较复杂的计算框架。它由两类服务组成,分别是ResourceManager和NodeManager,其中,ResourceManager作为整个系统的唯一组件,处在单点故障问题报告 ;

(3)MapReduce:目前处在有一种 MapReduce实现,分别是可独立运行的MapReduce,它由两类服务组成,分别是JobTracker和TaskTraker,其中JobTracker处在单点故障问题报告 ,这样 是MapReduce On YARN,在你你你这种 实现中,每个作业独立使用有有有十好多个 作业跟踪器(ApplicationMaster),彼此之间不再相互影响,不处在单点故障问题报告 。本文提到的单点故障实际上是第有一种 实现中JobTracker的单点故障。

先说当前Hadoop单点故障的出理 进度,截止本文发布时,HDFS单点故障将会出理 ,且提供了两套可行方案;MapReduce单点故障(JobTracker)由CDH4(CDH4并肩打包了MRv1和MRv2,这里的单点故障指的是MRv1的单点问题报告 )出理 ,且将会发布;YARN单点故障尚未出理 ,但方案将会提出,将会出理 方案借鉴了HDFS HA和MapReduce HA的实现,将会将会更快得到出理 。

总体上说,Hadoop中的HDFS、MapReduce和YARN的单点故障出理 方案架构是完全一致的,分为手动模式和自动模式,其中手动模式是指由管理员通过命令进行主备切换,这通常在服务升级时有用,自动模式可降低运维成本,但处在潜在危险。