複数ユーザでMapReduce: 追記

Hadoop memo

自分でdfs -mkdirやdfs -copyFromLocalなどをする場合は大丈夫なんだけれども、MapReduceのjobがディレクトリなどを作るときに問題が発生。

  • 作成したディレクトリにグループが設定されていない
  • dfs -ls で中身の個数は表示されるが、ファイル名などが表示されない

という感じ。これはどこを直せば良いんだろう。。

nobu-k:~$ hdfs -ls
Found 5 items
drwxr-xr-x   - nobu-k                0 2008-09-16 02:20 /user/nobu-k/output
drwxr-xr-x   - nobu-k                0 2008-09-16 01:50 /user/nobu-k/random-text-count
drwxr-xr-x   - nobu-k                0 2008-09-16 00:32 /user/nobu-k/random-text2
drwxr-xr-x   - nobu-k hogehoge       0 2008-09-09 19:10 /user/nobu-k/test2
drwxr-xr-x   - nobu-k hogehoge       0 2008-09-16 02:03 /user/nobu-k/testtest

上3つはjobが作成したもの。下2つは自分で-mkdirしたもの。上のにはグループが設定されていない。また、

nobu-k:~$ hdfs -ls random-text2
Found 301 items
drwxr-xr-x   - nobu-k ls: -0s
Usage: java FsShell [-ls <path>]

こんな感じになってしまう。切ない！Hadoopを起動しているユーザが実行するとこんな事はないんだけど。。原因や解決策を知っている方がいらしたら是非教えてください。。