2008-09-01から1ヶ月間の記事一覧

DataNodeがIncompatible namespaceIDsと言って終了してしまう件

http://mail-archives.apache.org/mod_mbox/hadoop-core-user/200706.mbox/%3CBAD0CDB2-F55F-4006-91B8-F8DBC49EBE44@yahoo-inc.com%3E http://issues.apache.org/jira/browse/HADOOP-1212NameNodeとDataNodeのnamespaceIDが合ってないと終了してしまうらし…

Xbyak2.06

で、前に作った@@などを安全にサポートしてくださいました。すごす。あと関係ないけど http://www.netagent.co.jp/reverse_engineering_2008.html こんな面白そうなことやってたとは。

複数ユーザでMapReduce: 追記

自分でdfs -mkdirやdfs -copyFromLocalなどをする場合は大丈夫なんだけれども、MapReduceのjobがディレクトリなどを作るときに問題が発生。 作成したディレクトリにグループが設定されていない dfs -ls で中身の個数は表示されるが、ファイル名などが表示さ…

複数のユーザでHadoopを使う MapReduce編

動いた。ゎー。病気で前回から1週間もあいてしまった。ヮィヮヵョヮィヵッォャ!前回と同じく Thoughts of Me: Multi-User Hadoop と、後FAQ FAQ - Hadoop Wiki を参照。HDFSは複数のユーザから使えるようになっている事を仮定。まずhadoop-site.xmlのmapred…

複数ユーザで使うために HDFS編

はどおpのインストール方法などに関してはkzk神の実に素晴らしい記事が存在するのでそれを参考にして頂くとして、ちょっと複数ユーザーで使う場合どうなるんだろうなーと思い色々やってみた。参考にしたサイトはここ。日本語だと情報が見つからないし、"had…

NISサーバの設定@でびあん(笑)

熱があるけど発表が近いので頑張って設定する。NISサーバの挙動が良く分からなかったのですが、なんとか動くようになったので今後のためにメモ。今年あと何回ぶっ壊れるか分かったもんじゃないからなぁ。ここを参考に。 # apt-get install nis # domainname…