ust係なのに1時間も遅刻して済みませんでしたっ！ @shot6さんの取りそびれてしまった。。ごめんなさい。佐藤先生の途中から配信＆録画できました： 佐藤先生 http://www.ustream.tv/recorded/8525140 あらかわ先生 http://www.ustream.tv/recorded/8525234 …

まだMapper APIのみの提供でReducer APIがないappengine-mapreduceライブラリについては、10万件のデータを対象としたテストでは1000件／秒程度で処理できたよというレビューをお届けしました。しかしApp Engineの中の人であるBrettさんは15億件のデータを対…

Fredさんへの別件メール中で「Mapper API遅いなぁ〜」とちょっとグチをこぼしたら、「そんなはずはない」的なリアクションだったので、先日のテスト結果をお知らせしたところ、こんな返事が来ました： You can adjust the processing_rate to be higher. The…

Google I/O 2010で発表されたApp Engine新機能のひとつが「AppEngine-MapReduce（Mapper API）」です。このブログでもいろいろ憶測に憶測を重ねてきましたが、ついにApp EngineでMapReduceサポート！！…なんですが、しかし発表されたセッション会場もいまい…

@ashigeruさんのMapReduceつぶやきをきっかけにいろいろ話が広がったので、まとめ。 今度のHadoop座談会のネタに使いたいなぁ。togetterまとめ：MapReduceとコンパイラ、App Engine

ひがさんが見つけた書き込み： 30 sec execution limitation only to web requests or to all requests ? We've committed to map/reduce support to help make this easier on our roadmap for a future release. MapReduceキタコレ！ いつのまにコミット（…

とても遅かった以前の実装をTask Queueを使って書き換えることができました。感想をまとめると、 Task Queueはすばらしい。30分かかってた処理が3分で終わるようになった（前の実装がヘボいのではという疑惑はさておき） 処理を複数のタスクに分割して並列処…

いまコーディング中の案件で、Task Queueにぴったりハマる要件があったので、飛びついてみました。 課題：Datasource上の大量のデータをクライアントにダウンロードしたい。30秒内では終わらないので複数のリクエスト／レスポンスに分割してダウンロードする…

わけあって金融グリッド／金融HPCをにわか勉強中。。なかなか面白い。金融分野における計算機のグリッド技術 金融業界では、特にリスク管理の分野において多くの適用事例があります。例えば、数学的に厳密な解を求める方法が見つかっていないデリバティブ商…

Excelに高階関数が備わっているのはご存じですか？ 多くの人がよく使っている、式の一括コピーのことです。例えば数値が並んでいる列があるとき、その頭のセルの右となりに式を設定して、なにがしかの式を定義をします（例えば「=A1+1」など）。そしてCtrlを…

JavaWorld DAY 2009でのセッション発表のお知らせです。タイトル：「BigtableとMapReduceがもたらす“クラウドの最終進化”とは」詳細URL： http://www.idg.co.jp/expo/jwday/2009/session/#S-7

ちょっと逆説的に書きました。key-value store (KVS)やMapReduceは、クラウドにはなくてはならない重要な技術ではありますが、それらの技術単体では一般のエンジニアにとってそれほど価値はありません。もともと分散ストレージや分散処理技術は昔から学術研…

例えば、普通にExcelで式を貼り付けるだけなら副作用のあることはしてないから、みんながExcelの式で実装しているくらいのこと（集計とかフィルタとか）はMapReduceでもできますね（もちろんExcelマクロは除きます）。項目が100万行ある見積書でもさくっと合…