2012年12月13日

HadoopOperationsのメモ8

※以下はHadoopOperationsを読んで自分なりに理解をしたことをかいていますので、
誤りを含んでいることがあります。もちろん、意図することではありません。。。。
本文内の英文はHadoopOperationsの抜粋です。

●第3章 YARN

YARN=Yet Another Resource Negotiator
まずはじめに、YARNが作られた理由が書かれている。
端的には、JobTrackerの弱点を克服するためだ。
大規模クラスタになると、JobTrackerに必要なリソースは膨大になる。

NameNodeは所詮、データを管理できればいいだけだから、
それに比べて各Jobを管理するJobTrakcerの方が重くなるのは想像できそうだ。

そして、JobTrackerも死んだら終わりのSPOFだ。

そこでYARNの登場となる。
YARNでは、JobTrackerの代わりに、ResourceManagerとApplicationMasterといったプロセスが登場してくる。
詳細は以下リンクを参照されたい。
http://hadoop.apache.org/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/YARN.html
http://www.ne.jp/asahi/hishidama/home/tech/apache/hadoop/0.23/yarn.html

それより現時点で注意しないといけない点として、
"At this time of this writing, YARN is still considered alpha-level software and is not intended for production use."
とある。
Hadoopをダウンロードしようとすると、確かにまだalphaと書いてある。
まだ、PJに採用することは控えたほうが身のためのようだ。

それにも関らず、Hadoop2.0ではMapReduceV1が使えなくなっているのは不可解な話だ。
(今までの変遷の関係で仕方なし?)
HadoopのHA構成を使いたいけど、MapReduceV1も使いたいというケースでは、
どうやら必然的にCDH4という選択肢になるらしい。
CDH4はMapReduceV1もYARNも使えるとのこと。


第3章の締めくくりとして、
「HadoopOperations」はMapReduceV1にフォーカスして書いている、と但し書きがある。

しばらくは十分対応できる内容だろう。(偉そうに。。。)


次回からは、第4章Planning a Hadoop Clusterに入ります。
しかし、遅々として進んでいないような気もする。。
ちなみに既読率は11%です(笑
ただ、後半に出てくるHiveやPigなどなどは一部飛ばそうかと思っています。
ラベル:Hadoop
posted by Thoughter at 22:06| Comment(0) | TrackBack(0) | Hadoop | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

認証コード: [必須入力]


※画像の中の文字を半角で入力してください。

この記事へのトラックバック
×

この広告は180日以上新しい記事の投稿がないブログに表示されております。