データのサイロ化を未然に防ぐ ──AWS RedshiftからDatabricksへのデータ分析基盤移行プロジェクト

IT戦略部

プロジェクト概要

IT戦略部が約12ヶ月をかけて取り組む「AWS RedshiftからDatabricksへのデータ分析基盤移行プロジェクト」が、終盤に差し掛かっています。
管理コストの削減とデータ処理速度の向上を実現しながら、将来の「データのサイロ化」を防ぐ本プロジェクトの、課題や取り組み、成果についてご紹介します。

課題

IT戦略部がデータの民主化を進めていくと、各部署での集計 / 分析が増えていくため、多数の部署がデータを保有し、いろんな側面から社内データを漁る機会が増えることが想定されます。データ分析基盤が部署ごとに独立して存在する状況は、どんな会社でも起こりがちな課題といえるでしょう。
そのままでは「IT戦略部では見られるのに、うちの部署ではこのデータが見られない」「自分の部署のデータ分析基盤にないから、会社にはそのデータ自体がないと思い込んでしまう」といった非効率がじわじわと広がっていくだけでなく、データ分析基盤が増えるほどに管理コストやサーバー費用も膨らんでいきます。

最終的には、相当な規模のデータ分析基盤統合プロジェクトを急ピッチで進めなければならなくなるのでは──。懸念を察知したのは、IT戦略部でデータベースエンジニアを務める西村さん。そんなピンチを未然に防ぐため、先手を打つ形でプロジェクトの立ち上げを決めました。

取り組み

Databricksという新技術に、ゼロから挑む

移行先として選定したのは、「Databricks（データブリックス）」と呼ばれるデータ分析プラットフォーム。
従来のデータ分析基盤では、データ量が増加していくと、Redshiftのコストが上がったり、処理能力が落ちたりします。また、データカタログが整理しづらい、権限管理がしづらいなど、データを触る人間が増えていくうえで最適解とは言えませんでした。
Databricksは、データ量が増えても低コストで、処理速度も速い水準を保つことができ、データカタログの編集/更新/権限管理もしやすいため、今回の課題解決にマッチしていました。

プロジェクトの進め方

プロジェクトは2025年10月の社内承認取得からスタートしました。その後の工程は以下の通りです。

2025年11〜12月：要件定義
2026年1〜2月：インフラ調整
2026年3月上旬：データ移行の検証
2026年3月後半〜：バッチ作成・データ移行

インフラ調整のフェーズでは、AWSのクローズドな環境にDatabricksから安全にアクセスするための「穴開け作業」をどのように実施するか、という重要な課題に、システム部のインフラチームとともに立ち向かいました。
実際にDatabricksへデータを正常に移行できることを検証・確認し、2026年9月現在、データをまとめて転送するバッチの作成・処理フェーズの最終段階に入っています。

ベンダーとの連携

本プロジェクトは、主に西村さんとベンダーとの二人三脚で進めています。Databricksは比較的新しい技術ですが、必要な調査や提案を先回りして行ってくれるベンダーの姿勢は、プロジェクトを前進させる大きな要因でした。

西村さんが連携において特に心がけていると語るのは、「1年後にこういう状態になっていたい」「目的を考えると、ここはこうなっているべき」というビジョンを明確に持ち、ブレずにベンダーと共有すること。
細かいアプローチはベンダーに委ねながらも、目指す方向性だけは常に明確にしておくことが、スムーズな連携の土台になっています。

プロジェクト中のハプニング

それでももちろん、全てが計画通りにはいきません。移行対象のデータ数について認識のすれ違いが生まれ、完了報告を受けて初めて齟齬に気づく──といった想定外のハプニングに直面したこともありました。
しかし発覚から数時間のうちに、ベンダーと軌道修正のための打ち合わせを実施し、翌日には解決の見通しが立ったといいます。

長期プロジェクトにおいて認識のズレはつきものですが、大切なのはハプニングをゼロにすることではなく、何か起きたときにいかにスピーディに協議・対応を進めるかが重要であると西村さんは話します。