ゴミ屋敷の
引っ越し
「データはそのまま全部移行してください」。
それは、ゴミ屋敷のゴミを、分別もせずに新築の豪邸に運び込むことです。
新居(新システム)は初日から汚染され、腐敗臭を放ち始めます。
- 移行元データに、電話番号が「03-****-****」と「03********」で混在している
- 「テスト太郎」「ああああ」というデータが本番に残っている
- 必須項目が空欄のままのデータが大量にある(昔は必須じゃなかった)
- データ移行のリハーサルを一度もやっていない
データクレンジングは、移行作業の9割を占める最も重要な工程です。
01. 新居がすぐにゴミ屋敷になる理由
新しいデータベースには、新しいルール(制約)があります。
「住所は必須」「メールアドレスはユニーク」。
しかし、古いデータはそのルールを守っていません。
無理やり入れるために「制約を外そう」とした瞬間、新システムは死にます。
新居の壁を壊して、粗大ゴミを入れているのと同じだからです。
デジタル化しても、
それはデジタルのゴミだ。
02. 断捨離(クレンジング)のチャンス
システム移行は、過去の負債を清算する絶好の機会です。
「5年以上ログインしていないユーザー」「在庫のない商品の画像」。
これらを全て持っていく必要はありません。
移行するのは「生きたデータ」だけ。
勇気を持って捨てる(アーカイブする)ことが、新システムの寿命を延ばします。
03. ETLツールの活用
手作業のSQLやCSV加工で移行しようとしてはいけません。
必ず「ETLツール(Extract, Transform, Load)」を使いましょう。
「全角を半角にする」「空欄ならデフォルト値を入れる」。
こうした変換ルールをプログラムとして定義し、何度でも再現可能な状態にします。
移行は「一発勝負」ですが、そのための練習は「何百回」も必要です。