2012年12月10日

HadoopOperationsのメモ7

※以下はHadoopOperationsを読んで自分なりに理解をしたことをかいていますので、
誤りを含んでいることがあります。もちろん、意図することではありません。。。。
本文内の英文はHadoopOperationsの抜粋です。

●第3章 WHEN IT ALL GOES WRONGより

"A child task is considered to be failed when one of three things happends:
・It throws an uncaught exception.
・It exits with a nonzero exit code.
・It fails to report progress to the tasktracker for a configurable amount of time."

TaskAttemptが失敗と判定される条件として上のことがあるらしい。

最初のは、一言ではプログラムの不具合になるのだろう。
想定外のデータというケースもあろうが、想定できなかったミスとも言える。
よく考えればビッグデータだけに想定外データは潜んでいるものかのかもしれない。
とすれば一概には言えない、、のか!?
確か、エラーデータをとばして処理するオプションもあったな。

2番目のケースは、ちょっとよく分からない。
ここで、child taskと言われているのはTaskTrackerの子プロセスの話なので、
先に書いたTaskAttemptを指す。
異常終了は1番に入るから、MapやReduceをリターンコード付きで終了させるケースなのだろうか。

3番は、メモリリークとかでプロセスが死んだケースか。


そのあとの文章では、TaskTrackerがブラックリスト登録される条件の説明がある。
ブラックリストといっても2種類あるとのこと。
説明されないと知り得ない気がする。。。
posted by Thoughter at 21:32| Comment(0) | TrackBack(0) | Hadoop | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

認証コード: [必須入力]


※画像の中の文字を半角で入力してください。

この記事へのトラックバック
×

この広告は180日以上新しい記事の投稿がないブログに表示されております。