KVSやMapReduceはクラウドの真価ではない
ちょっと逆説的に書きました。key-value store (KVS)やMapReduceは、クラウドにはなくてはならない重要な技術ではありますが、それらの技術単体では一般のエンジニアにとってそれほど価値はありません。もともと分散ストレージや分散処理技術は昔から学術研究の恰好のネタでしたし、最近になって技術的ブレークスルーがあったわけでもありません。
クラウドの真価は、「すでに巨大なクラウドがそこにあり、きちんと運用され、ビジネスモデルがある」ということです。学術研究や、まだ実績の少ないOSSフレームワークなどのレベルから、Google並の商用サービスに至るまでには、超えられない壁があります。例えばBigtable論文では、クラウドを構築して実運用することがいかに大変かが記されています。
One lesson we learned is that large distributed systems are vulnerable to many types of failures, not just the standard network partitions and fail-stop failures assumed in many distributed protocols. For example, we have seen problems due to all of the following causes: memory and network corruption, large clock skew, hung machines, extended and asymmetric network partitions, bugs in other systems that we are using (Chubby for example), overflow of GFS quotas, and planned and unplanned hardware maintenance.
たとえて言うならば、クラウドは「マンション」のようなものです。HadoopやCouchDBはたいへん面白い技術ですが、それは「マンションを建てる基礎技術」に過ぎず、上述のような泥臭い苦労を背負ってまで自前でマンションを建てる必要に迫られる人はごく少数です（Amazonとかmixiの中の人）。
クラウドのブレークスルーは、AmazonやGoogleが苦労して建てた巨大マンションの部屋が、とても安く（タダで）賃貸され始めたことです。KVSという簡素な収納しかなく、その使い方も相当慣れが必要ですが、代わりにいくらでも物を置けて部屋も好きなだけ拡張できます。マンションによっては、困った時にはご近所さん総出で助けてくれるMapReduceという仕組みもあります。たくさんの人が、これらの珍しい装備を見よう見まねで使い始め、意外にも結構「住みやすい」ことに気づき始めたところです。
