2012年12月26日

HadoopOperationsのメモ10

※以下はHadoopOperationsを読んで自分なりに理解をしたことをかいていますので、 誤りを含んでいることがあります。もちろん、意図することではありません。。。。 本文内の英文はHadoopOperationsの抜粋です。 ●第4章 Namenode consideration この付近では、NameNodeやSecondaryNameNodeなど各ノードのハードウェアスペックはどの程度が良いのか、という内容が説明されている。 NameNodeのスペックはやはり搭載メモリのサイズがポイントだ。 管理するファイルのサイズというより、ファイルの数によってサイズを見積もる必要があるのは、 よく知られたことだと思う。
Remember that the metadata contains the filename, permissions, owner and group data,
list of blocks that make up each file, and current known location of each replica of 
each block
このあとに、ファイル名が長いほど、よりメモリが必要になるという記述も。 こんなに細かい管理をしているようだ。 おおまかには、100万ブロックの管理には1GBのメモリが必要、という計算になるらしい。 と言われても、一体どれだけなんだ?と思ってしまうが。。 どこかで読んだ、1ファイルあたり100バイトや150バイトくらいになるのだろうか。 他にも書きたいことはあるのだが、 あまり書くのも気が引けるので気になった点のみとした。(今更だが)
posted by Thoughter at 22:22| Comment(0) | TrackBack(0) | Hadoop | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

認証コード: [必須入力]


※画像の中の文字を半角で入力してください。

この記事へのトラックバック
×

この広告は180日以上新しい記事の投稿がないブログに表示されております。