Mistake #26 : Data Migration Mess

ゴミ屋敷の
引っ越し

「データはそのまま全部移行してください」。
それは、ゴミ屋敷のゴミを、分別もせずに新築の豪邸に運び込むことです。
新居(新システム)は初日から汚染され、腐敗臭を放ち始めます。

🗑️ データ汚染診断
  • 移行元データに、電話番号が「03-****-****」と「03********」で混在している
  • 「テスト太郎」「ああああ」というデータが本番に残っている
  • 必須項目が空欄のままのデータが大量にある(昔は必須じゃなかった)
  • データ移行のリハーサルを一度もやっていない
⚠️ 警告:ゴミ(Dirty Data)が混入すると、どんな高性能なエンジンも停止します。
データクレンジングは、移行作業の9割を占める最も重要な工程です。

01. 新居がすぐにゴミ屋敷になる理由

🏠 New System
🗑️📦💩🦴🗑️

新しいデータベースには、新しいルール(制約)があります。
「住所は必須」「メールアドレスはユニーク」。
しかし、古いデータはそのルールを守っていません。
無理やり入れるために「制約を外そう」とした瞬間、新システムは死にます。
新居の壁を壊して、粗大ゴミを入れているのと同じだからです。

ゴミを
デジタル化しても、
それはデジタルのゴミだ。

02. 断捨離(クレンジング)のチャンス

システム移行は、過去の負債を清算する絶好の機会です。
「5年以上ログインしていないユーザー」「在庫のない商品の画像」。
これらを全て持っていく必要はありません。
移行するのは「生きたデータ」だけ。
勇気を持って捨てる(アーカイブする)ことが、新システムの寿命を延ばします。

03. ETLツールの活用

手作業のSQLやCSV加工で移行しようとしてはいけません。
必ず「ETLツール(Extract, Transform, Load)」を使いましょう。
「全角を半角にする」「空欄ならデフォルト値を入れる」。
こうした変換ルールをプログラムとして定義し、何度でも再現可能な状態にします。
移行は「一発勝負」ですが、そのための練習は「何百回」も必要です。

執筆:データエンジニア

情報の清掃員。
名寄せ、正規化、クレンジングを駆使し、データの品質を担保する守護神。