memo
apt-get remove python したらいろんなものが消えてしまって大変なことになったのでOSを再インストール。そしたらまた画面設定でハマったのでメモ・・・。基本的にはこの間のエントリの加筆。今回は参考文献なしなので間違ってるかもしれない。注意。ちなみ…
相当はまったのでメモ。 手順 念のため xorg.conf をバックアップ nvidia-settings で雛形となる xorg.conf を生成 生成された xorg.conf をちょこっと書き替えて完成 xorg.conf をバックアップ /etc/X11/xorg.confをどこか適当なところにバックアップする。…
hdfsOpenはディレクトリも書き込みモードで開けます。というか、ファイルを消して、そこに新たにファイルを作ります。なのでcp的なものを作ろうとして、誤ってディレクトリに対してhdfsWriteしてしまうと…／(^o^)＼ 追記 他の関数も調べてみました。 hdfsCop…
libhdfsのAPIは$(HADOOP_HOME)/libhdfs/docs/apiに詳しいドキュメントがあるので、そこを見ながらやると簡単です。サンプルが必要ないくらいに色々書いてあります。ただちょっと良く分からなかった点があったので、いくつかメモを残しておきます。 Connect, …
libhdfsはC言語からHDFSへアクセスするためのライブラリです。が、ちょっとコンパイルでハマったのでメモしておきます。32bit環境だと問題なくビルドできるかも知れませんが、実験はしていません。また、これは0.18.3(現時点でのstable release)での話で、最…
gtestではテストケース毎に、テストケース全体で共有するリソースを初期化(確保)・解放する仕組みを提供している*1。これは、SetUpTestCaseとTearDownTestCaseを使用することで実現できる。 サンプルコード class TestCase : public testing::Test { protect…
src/gtest-filepath.cc: In static member function 'static testing::internal::FilePath testing::internal::FilePath::GetCurrentDir()': src/gtest-filepath.cc:82: error: 'PATH_MAX' was not declared in this scope src/gtest-filepath.cc:83: error:…
まだ実装面まで踏み込んでる訳じゃないので、あくまで俺メモ。参考にはならない。HDFSでは大きなファイルを細かく刻んで色んなノードに保存している。当然データの切れ目は勝手に決められるのでその辺はどうしようもない。ここで、ある馬鹿でかいテキストフ…
http://mail-archives.apache.org/mod_mbox/hadoop-core-user/200706.mbox/%3CBAD0CDB2-F55F-4006-91B8-F8DBC49EBE44@yahoo-inc.com%3E http://issues.apache.org/jira/browse/HADOOP-1212NameNodeとDataNodeのnamespaceIDが合ってないと終了してしまうらし…
自分でdfs -mkdirやdfs -copyFromLocalなどをする場合は大丈夫なんだけれども、MapReduceのjobがディレクトリなどを作るときに問題が発生。 作成したディレクトリにグループが設定されていない dfs -ls で中身の個数は表示されるが、ファイル名などが表示さ…
動いた。ゎー。病気で前回から1週間もあいてしまった。ヮィヮヵョヮィヵッォャ！前回と同じく Thoughts of Me: Multi-User Hadoop と、後FAQ FAQ - Hadoop Wiki を参照。HDFSは複数のユーザから使えるようになっている事を仮定。まずhadoop-site.xmlのmapred…
はどおｐのインストール方法などに関してはkzk神の実に素晴らしい記事が存在するのでそれを参考にして頂くとして、ちょっと複数ユーザーで使う場合どうなるんだろうなーと思い色々やってみた。参考にしたサイトはここ。日本語だと情報が見つからないし、"had…
熱があるけど発表が近いので頑張って設定する。NISサーバの挙動が良く分からなかったのですが、なんとか動くようになったので今後のためにメモ。今年あと何回ぶっ壊れるか分かったもんじゃないからなぁ。ここを参考に。 # apt-get install nis # domainname…
さっきのhow to installのページに書いてある方法でテスト。ただ kill-servers.sh --> stop-servers.sh ~/build/hypertableはcmakeしたディレクトリ だとおも。make testで26個のテストが実行されたら完璧！か？これから色々動かしてみる。
http://hypertable.org/ Google Code Archive - Long-term storage for Google Code Project Hosting.とりあえずhow to installを参考に、必要なものを全部取ってくる。ソースは http://code.google.com/p/hypertable/wiki/SourceCode?tm=4 ここに持ってき方…
http://doi.acm.org/10.1145/1376616.1376651 http://doi.acm.org/10.1145/1277741.1277766 http://doi.acm.org/10.1145/1277741.1277871
http://blog.clawpaws.net/post/2007/04/22/Good-Hash-Functions http://en.wikipedia.org/wiki/Hash_table と言っても、一回3時間以上かかる処理なのであと3回くらいしかできないお。速さ重視でSuperFastHashとMurmurHash2を組み合わせた64bitのハッシュ関…
Googleの中の人の論文、Detecting Near-duplicate for Web Crawling(PDF)に書かれているハッシュ値の圧縮アルゴリズムを実装、テストしてみた。この論文ではsimhashと言うアルゴリズムによって生成される64bitのハッシュ値を使用して、かなり効率的に、内容…
O( (N/M)log(N/M) )をM回やるのでO(Nlog(N/M))で良いんだろけ。そうなると分割数を増やせばそれだけ速くなるという事になるね。ただその後にM個のファイルを同時に読んでいくことになるので、その辺の事も考慮しつつ色々やてみよう。とりあえずソートはお手…
100億個もできるのでどうしようかという話。めも:100億B=9.31GB。ハッシュ値は64bitなので、バイナリで保管しても74.48GBとなる。メモリ上でやるとかっこよす！なのだが、今は分散環境がないので難しい。なので、ハッシュ値を全部はき出してsort&uniqueする…
64bitのもの: そのまま使う 32bitのもの: 単体で分布を調査。その後全部の組み合わせで64bitのハッシュ値を生成しテスト 128bit以上のもの: 32bit単位で分布チェック。その後全部の組み合わせで〃 100億のURLをそれらしく生成する方法のめどはついたので、後…
http://www.cryptopp.com/ http://tanjent.livejournal.com/756623.html http://www.azillionmonkeys.com/qed/hash.html
意味があるのかどうかわからないけど、32bit単位でのハッシュ値の衝突をチェック中。そんで、分布をどうやって出力しようかと。32bitくらいだと、3億個のURLでもかなり衝突が発生してしまう。そして、そこそこ数が多いので、出てくるデータ量が半端ない。な…
URLは使われている文字がものすごく限られてしまっているので、ハッシュ値が均等に分布するのかどうかが良くわからない。なので、その辺の調査もやってみる必要がありそう。逆に文字列に特化したハッシュ関数みたいなものも使ってみると良いかもしれない(こ…
なにが問題だったのか考察してみる。問題に対する考察ではなく、チームの行動に対する考察。うちのチームは(今年もそうなのかわからないけど)1位のにゃあさんのチームやtanakhさんのチームのようにコーダー(俺)+アルゴリズムな人2名で構成されている。アルゴ…
雰囲気がだんだんわかってきた。普通の家庭用のルータと全く同じだねこれ。とりあえず階段を上ったり降りたりしまくった甲斐がありました。
Linux のネットワーク設定を勉強してるんだけど良くわかりません＞＜ カスですいません＞＜ネットワークの疎通を確認するには？〜ping／traceroute〜：ネットワーク・コマンドでトラブル解決（1） - ＠ITとりあえず学習メモ。1台だけ設定はだいぶわかってき…
すいませんでした。 > ghc -package wx HelloWorld.hs > ghc -package wx -optl -mwindows hoge.hs で起動時にコマンドプロンプトがでなくなるそうです(tanakhさんの日記より)こんだけ。なんか -package 付けてwx指定すればおｋらしい。ちなみにできたexeフ…
ちなみに今現在のバージョンは0.10.3。古い情報にはご注意を。wxHaskellのページ 落とすところ とりあえずおもむろにそれっぽいものを全部落とす。いんすこ方法自分の環境: GHC6.8.2。wxWidgets2.6.4とかめんどくさいので入れてません。wxWidgets2.8.7は入っ…
まだ使えてない。とりあえず情報収集。tanakhさんなら、tanakhさんならきっとなにかいかすドキュメントを残してくれているはず…！2004-07-09 2004-07-10 2004-07-11 2004-07-13 2004-07-14さすがっす＞＜ とりあえず今から導入し始めてみます。
