hdfsOpenはディレクトリも書き込みモードで開けます。というか、ファイルを消して、そこに新たにファイルを作ります。なのでcp的なものを作ろうとして、誤ってディレクトリに対してhdfsWriteしてしまうと…／(^o^)＼ 追記 他の関数も調べてみました。 hdfsCop…

libhdfsのAPIは$(HADOOP_HOME)/libhdfs/docs/apiに詳しいドキュメントがあるので、そこを見ながらやると簡単です。サンプルが必要ないくらいに色々書いてあります。ただちょっと良く分からなかった点があったので、いくつかメモを残しておきます。 Connect, …

コンパイルから実行までに1時間くらいかかったわけですが、95%はCLASSPATHの効率的な指定方法を調査していた時間ですｗ 以下、pathは適当に自分の環境に合うように置き換えて読んでください。libhdfsを使ったソースファイルは以下のようにコンパイルします。…

libhdfsはC言語からHDFSへアクセスするためのライブラリです。が、ちょっとコンパイルでハマったのでメモしておきます。32bit環境だと問題なくビルドできるかも知れませんが、実験はしていません。また、これは0.18.3(現時点でのstable release)での話で、最…

まだ実装面まで踏み込んでる訳じゃないので、あくまで俺メモ。参考にはならない。HDFSでは大きなファイルを細かく刻んで色んなノードに保存している。当然データの切れ目は勝手に決められるのでその辺はどうしようもない。ここで、ある馬鹿でかいテキストフ…

http://mail-archives.apache.org/mod_mbox/hadoop-core-user/200706.mbox/%3CBAD0CDB2-F55F-4006-91B8-F8DBC49EBE44@yahoo-inc.com%3E http://issues.apache.org/jira/browse/HADOOP-1212NameNodeとDataNodeのnamespaceIDが合ってないと終了してしまうらし…

自分でdfs -mkdirやdfs -copyFromLocalなどをする場合は大丈夫なんだけれども、MapReduceのjobがディレクトリなどを作るときに問題が発生。 作成したディレクトリにグループが設定されていない dfs -ls で中身の個数は表示されるが、ファイル名などが表示さ…

動いた。ゎー。病気で前回から1週間もあいてしまった。ヮィヮヵョヮィヵッォャ！前回と同じく Thoughts of Me: Multi-User Hadoop と、後FAQ FAQ - Hadoop Wiki を参照。HDFSは複数のユーザから使えるようになっている事を仮定。まずhadoop-site.xmlのmapred…

はどおｐのインストール方法などに関してはkzk神の実に素晴らしい記事が存在するのでそれを参考にして頂くとして、ちょっと複数ユーザーで使う場合どうなるんだろうなーと思い色々やってみた。参考にしたサイトはここ。日本語だと情報が見つからないし、"had…