AWS使いが3分で分かる: Databricks on AWSでML開発が爆速になった話

馬渡 大樹

株式会社GENDA

2025-11-07

1. はじめに

1.1.

uma-chan (馬渡 大樹 / Mawatari Daiki)

Data Engineer/MLOps Engineer at 株式会社GENDA

Data Engineer at PIVOT株式会社

X GitHub Website

1.2. 今日の話

今回の発表内容

  • GENDAのデータサイエンスチームが AWS ECS から Databricks に移行した事例を紹介します
  • AWS 使いの視点で「Databricks on AWS ってどうなの?」という疑問に答えます

参考記事

2. 移行前の課題: AWS ECS 環境

2.1. AWS ECS 環境での課題

2.2. 何が問題だったのか

課題1: 高い学習コスト

  • Docker 知識が必須
  • AWS ECS/ECR/CloudWatch の理解が必要
  • インフラ学習に時間を奪われ、本来の機械学習に集中できない

課題2: 遅い開発サイクル

  • 軽微なエラーでも最短15分の待機時間
  • トライアンドエラーによる学習が困難

3. 移行後: Databricks on AWS

3.1. Databricks on AWS アーキテクチャ

3.2. AWS 使いが気になるポイント

重要なポイント

  • Data Plane は自社 AWS 内で動作 (データは外部に出ない)
  • 既存の VPC、IAM、CloudWatch と統合可能
  • インフラ知識がなくても開発可能

つまり

  • AWS のセキュリティモデルをそのまま活用
  • Databricks が管理するのは Control Plane のみ
  • 開発者は AWS を意識せずに開発できる

3.3. 開発体験の劇的変化

4. 移行効果まとめ

4.1. Before/After 比較

4.2. まとめ

移行の効果

  • 開発サイクル: 約25-50倍速 (50分以上 → 1-2分)
  • 学習コスト: AWS知識不要 (Python/SQLのみ)
  • 開発体験: インタラクティブに開発可能

AWS 使いへのメッセージ

  • Databricks on AWS は「AWS 上で動く」プラットフォーム
  • データは自社 AWS アカウント内に残る
  • 既存の AWS サービスと統合可能
  • インフラ知識がなくても開発できる環境を実現

ご清聴ありがとうございました