2012年11月25日

HadoopOperationsのメモ3

徐々にスピードアップしながら読み進め中です。

※以下はHadoopOperationsを読んで自分なりに理解をしたことをかいていますので、
誤りを含んでいることがあります。もちろん、意図することではありません。。。。
本文内の英文はHadoopOperationsの抜粋です。

●第2章49ページ
FUSEについての説明。
HadoopもCDHも共にFUSE HDFSをサポートしている。
これはHDFSをマウントできるようにする仕組みである。
例えば、リモートのHDFSをローカルにマウント。

とはいえ、ファイルを修正できないことや、ランダムアクセスに弱いこと、
といった弱点もある。

参考:http://blog.kirie.net/linux/hadoop/336.html

●第2章50ページ
Hadoopバージョン1、CDH4では、WebHDFSが標準搭載されている。

WebHDFS makes use of the already embedded web server in each Hadoop HDFS deamon to run a set of REST APIs that of the Java FileSystem API, including read and write methods.

試してみたところ、
確かに、RESTのURI部分の指定がJavaのAPIに似ている。
そして、ファイルやディレクトリの読み書きができる。非常に簡単だ。
ただし、JavaAPIの全てを網羅しているわけではない。そこは仕様書を参照。

そのあとで、WebHDFSとHttpFsについて対比があり、
どちらも同じ機能を持つが実現方式が異なるため、スループットやネットワーク設計などを鑑みて、
方式を選択する必要がある、と締めくくられている。

違いについては以下サイトがとても分かりやすいです。
http://d.hatena.ne.jp/tagomoris/20120102/1325466102


次回からは第3章MapReduceに突入します。
posted by Thoughter at 11:56| Comment(1) | TrackBack(0) | Hadoop | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
I’m looking to begin which blog with regard to my personal best photo digital portrait photography enterprise. In addition unfastened web page really should be largest?. jordan shoes http://www.cheapairjordanshoesonline.com/
Posted by jordan shoes at 2013年06月10日 00:00
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

認証コード: [必須入力]


※画像の中の文字を半角で入力してください。

この記事へのトラックバック
×

この広告は90日以上新しい記事の投稿がないブログに表示されております。