スティルハウスの書庫の書庫

はてなダイアリーで書いてた「スティルハウスの書庫」を移転してきました。

データのインポートやバッチ処理がとても面倒

bluerabbitさんのエントリ:google app engineではマスタの取り込みが辛い

しかも、マスタが正しく取り込まれたかを検証するのがまた困難で件数チェックだけでも1000件の制約にかかったりするわけです。そこで前のエントリーの 1000件以上取得する方法とかごにょごにょやらないといけないのです。また、1リクエスト30秒以内という制限がやっかいですぐに何千件もインサートできない。1リクエスト50件くらいづつちまちまやる必要があるわけです。

もっと簡単な方法をご存知なえらい人いませんか。

これみんな苦労してるはず。。。

\(^o^)/は〜い、私もまったく同じ苦労してます〜! 簡単な方法教えてください!

150万件の既存レコードを移行するのに、2週間くらいかかりましたorz インポートしたレコードを後で修正したくなって、修正バッチを走らせはじめてから10日経ちましたorz

しかも、検証したりバッチ処理したりするときも、SQLみたいにさくっと複雑なロジックでクエリしたり一括バッチ処理できないから、「25秒経ったら処理打ち切って次回に持ち越し」的なバッチ処理コード書いてテストしてデプロイして(まだTQがないから)cronで1分おきに呼び出して。。みたいなことを毎回繰り返します。

ダンプインポート/エクスポート機能がロードマップにあるので、それに儚い期待を寄せています。TQ、メール受信など、欲しい機能はことごとくロードマップ状態。