CollectiveMeta

Daddy, Where's Your Phone?
http://radar.oreilly.com/2008/11/daddy-wheres-your-phone.html

マイクロソフトから Google で VP に転身したVic Gundotra の話。Google での彼は、Andoroid を除く全ての mobile 分野の責任者。

レストランで子供連れで食事をしているとき。会話に興じていた Vic が "I don't know" と言った。そのとき4歳の娘が "Daddy, where's your phone?" と一言。

Vic: それは知らないなぁ。
娘: 電話はどうしたの？
Vic: ん？ どういう意味？
娘：電話で調べればいいじゃない？

そこで彼は悟った。次の世代にとっては、Web は PC ではなく電話でアクセスするものなのだと。PC の Web が本物で、mobile はそれの付けたしだと思っていたが、それが逆転するときが来た。

変化は目の前で起きている。そう気づいた彼は、Microsoft を去って Google に移った。

The Commoditization of Massive Data Analysis
http://radar.oreilly.com/2008/11/the-commoditization-of-massive.html

[抄訳]

今まではリレーショナルデータベースとSQLでデータを扱っていた。Google の MapReduce やそのクローンである Hadoop などの新しい大規模データ処理は、まだ企業のIT担当者には受け入れられていないが、今後1～2年で変わるだろう。

我々は今、データ革命の入り口に立っている。多くのデジタルデータは今なお「手作り」である。しかし、データの自動生成「工場」の姿が見え始めている。ソフトウェアログ、UPCのスキャナ、RFID、GPS、動画や音声のフィード。今まで人間が成しえたデータ生成がちっぽけに見えるほどの大量のデータが生み出される。ディスク容量はもはや問題にはならない。データには価値があるとの信念もある。革命に残された最後の問題が、多くの人が使うことのできるデータ分析ソフトウェアの普及である。

普段何気なく使っている diff。でもそのアルゴリズムは単純ではない。

diff with C++
http://labs.unoh.net/2008/11/diff_with_c.html

要素の追加と削除の回数、つまりは編集の回数を Levenshtein Distance（レーベンシュタイン距離、編集距離）と呼ぶ。概念は、1965年にロシアの学者 Vladimir Levenshtein（ウラジミール・レーベンシュタイン）によって提唱された。

古くはスペルチェッカーで、今はDNA配列の類似性を計算するために使われているそうだ。
http://ja.wikipedia.org/wiki/レーベンシュタイン距離

従来型のWeb検索エンジンは、インターネット世界の0.2%（DeepDyve社の発表）しかインデックス化していないという。残りの99.8%は、会員限定のクローズドなコンテンツであるため、あるいは他のサイトからのリンクが少ないために検索エンジンにクロールされずにいる。これを Deep Web （ディープ・ウェブ）と呼ぶ。

DeepDyve は、コンテンツの提供者と組んでこの Deep Web を検索できるようにした。コンテンツ提供者側にとって、コンテンツへのトラフィックが増えるメリットがある。

現在は、無料会員登録ユーザーと、月45ドルの有料会員の2つが設けてある。コンテンツそのものは有料であるようだ。iTunesのようなコンテンツ販売ビジネスを目指している模様。

従来、このような有料のクローズドコンテンツは、それぞれのサイトで販売されてきた。検索方法もサイト毎にバラバラだし、サイト横断的に検索することもできない。その窓口を一つにしたもの、つまりクローズドコンテンツのポータルサイト的なものということなのだろう。音楽の世界ではiTunesがその座を射止めたが、科学論文や特許の分野で同様の立場を得るつもりらしい。

Nagios が "Memory CRITICAL" とアラートを上げる。充分にメモリはあるはずなのに。

原因は check_mem.pl のこの行。

$command_line = `vmstat | tail -1 | awk '{print \$4,\$5}'`;

これを以下のように変更したら、アラートが出なくなった。

# This the unix command string that brings Perl the data
$command_line = `free| head -2 | tail -1 | awk '{print \$3-\$6-\$7, \$4+\$6+\$7}'`;

と頑張ったつもりだったが、実は以下でよかったらしい。

$command_line = `free |head -3|tail -1|awk '{print \$3,\$4}'`;

参考

• №819 Nagiosの空きメモリ監視？

Opening up Academic Research on IR and Machine Learning
http://lucene.grantingersoll.com/2008/09/18/opening-up-academic-research-on-ir-and-machine-learning/

Apache Mahout の core committer で Taming Text 著者の、Grant Ingersoll のブログエントリ。

研究論文だけが出ても、他の人がそれを利用できないんじゃ意味ないよね。論文と一緒にソフトウェアもなきゃだめだよ。Mahout はそのための場だよ。スケーラビリティとかメンテナンスというわずらわしい作業は Mahout が面倒みるから、研究者はアイデアに集中できるよ。という趣旨。

教授は新しい予算がつけばそっちにいくし、学生は PhD がとれればそれでいいし、資金を出した役人も次のプロジェクトに動くので、ドキュメントもないソフトは誰も使えず、放っておかれるのみ、という皮肉も。

Preventing forest fires with tree power
http://web.mit.edu/newsoffice/2008/trees-0923.html

木に温度・湿度センサーをつけて無線ネットワークで結び、しかも電気は木が発生する微弱な電力でまかなうという実用目前の研究。ネットワークの構成には 1エーカー(64メートル四方)中 4本の木に取り付ける必要がある。東京ドーム(11.5エーカー)の広さなら 46本に相当する。

電力は木と土壌の pH の差によって生まれ、市販のバッテリーを少しずつ充電する。この電力で、一日に4回の温度・湿度データの収集ができる。火事の際はすぐに知らせる。木が非常に微弱な電気を発生することは昔から知られていたが、その仕組みも利用方法も未開拓だったという。

ワイアレス・センサー・ネットワークの開発は Voltree Power (http://voltreepower.com) が行った。国土防衛、環境・農業のための計測、天候の研究を主な用途としている。

サーバ監視に nagios を使っている。履歴は nagiosgraph 経由で RRDtool。nagiosgraph の良いところは、何も考えなくても nagios の出力が RRDtool に取り込まれるところ。しかし、ピーク値が残らないという問題を一月以上、放置したままだった。

例えば、過去一日の間の CPU load の最大値が 1.0 だったとする。それが、過去一週間のグラフでは、CPU load の最大値が 0.6 などに丸められていた。これでは、最大瞬間風速が判らない。

ようやく nagiosgraph の insert.pl を調べると、RRA(Round Robin Archive) の consolidation (データ圧縮) が AVERAGE のみであることが判った。前々から、そうではないかと疑っていたのだけれど。

$ds .= " RRA:AVERAGE:0.5:1:" . $RRA_1min;
$ds .= " RRA:AVERAGE:0.5:6:" . $RRA_6min;
$ds .= " RRA:AVERAGE:0.5:24:" . $RRA_24min;
$ds .= " RRA:AVERAGE:0.5:288:" . $RRA_288min;

nagiosgraph は、グラフ表示の際に平均値で表示する。平均値なので、均せばならすほど、値が小さく表示される。Daily のグラフよりは Weekly のグラフの方が低い値になるし、Monthly はもっと低い。

そこで、最大値をグラフ表示するように変更してみた。

--- show.cgi    (revision 186)
+++ show.cgi    (working copy)
@@ -295,7 +295,9 @@
      debug(5, "file=$f line=$v color=$c");
      my $sv = "$v";
      my $label = sprintf("%-${longest}s", $sv);
-      push @ds , "DEF:$sv=$directory/$f:$v:AVERAGE"
+      push @ds , "DEF:$sv=$directory/$f:$v:MAX"
               , "$Config{plotas}:${sv}#$c:$label";
      my $format = '%6.2lf%s';

著者が2003年11月から2004年3月までの約半年間、市川塩浜にあるアマゾンの物流センターでアルバイト作業員として働いた潜入ルポ。コンピュータ管理された厳しい作業ノルマと、従業員の階層化によって作業者に考えることを放棄させる一方、ITの活用によって驚異的な効率と質の高いサービスを提供するアマゾンの姿を描く。

使い捨て人材として時給のみでつながったドライな雇用関係。仕事に希望も愛着も持てない中で、職場に嫌悪感を抱きながらも、顧客としてはその便利さゆえにアマゾンの愛用者となる著者。

彼が見た舞台裏には、年収にして200万円程度の、一心不乱に働く30～50代男性アルバイト達の姿があった。

これまで数えきれないほどの物流センターを見てきた。しかし見慣れたはずの風景であるのに、この物流センターはどこかが違う。それはこれまで取材者の立場からだったのに対し、今回ははじめて作業員として物流センターを見ているからであろうか。

(中略)

その棚がぎっしり並んだ空間を数十人のアルバイトたちが、脇目もふらず一心不乱に働いていた。その姿を見て、私は気圧されるように感じた。

たかが時給900円である。なぜこんなに懸命に働いているのだろう。