2012年11月21日

HadoopOperationsのメモ2

今回も、「Hadoop Operations」を読んで、理解したことをメモしておく。

●第2章29、30ページ

長い間、SPOFと言われていたNameNodeのHAについての説明がある。

NameNodeのHAには、手動フェイルオーバーと自動フェイルオーバーがあるそうだ。
手動はコマンドで状態を変更する。
自動はFailoverControllerと言われるものが監視するらしい。
まぁ一般的な内容だ。

現状、NameNodeのHA構成をとるには、NFSに共有領域を持つ必要がある。
これは、将来的には無くても良いように検討されている。

また、FailoverControllerの上ではZooKeeperを置くのが一般的なのかな。


●第2章35ページ
サブタイトルは、”NameNode Federation”。
タイトルからいきなり意味が分からなかった。

大規模なクラスター構成では、NameNodeの物理メモリの容量が問題になってくる。
NameNodeのメモリには、DataNodeに保持する全データのメタ情報があるからだ。
搭載メモリは確かに増やせるが、限界があるだろう。
物理的にも金銭的にも。
そこで、、、

it's possible to spread the filesystem metadata over multiple machines.
This technique is called namespace federation and refers to assembling one logical namespace from a number of autonomous systems.

とある。
これが、”NameNode Federation”だそうだ。


引用は、Hadoop Operationsでした。

ちなみに、HadoopOperationsでgoogle検索すると、前回の記事が1番に出てきた。
驚くべきことだな。
posted by Thoughter at 21:19| Comment(1) | Hadoop | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
Howdy! This article couldn’t be written much better! Reading through this post reminds me of my previous roommate! He constantly kept talking about this. I will forward this article to him. Fairly certain he’ll have a very good read. I appreciate you for sharing!
Posted by increase height at 2013年07月30日 22:02
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

認証コード: [必須入力]


※画像の中の文字を半角で入力してください。
×

この広告は90日以上新しい記事の投稿がないブログに表示されております。