GENDA の機械学習環境を AWS から Databricks に移行してみた

Databricks on AWS はいいぞ

uma-chan

2025-11-07

1. はじめに

1.1. 自己紹介

uma-chan (馬渡 大樹 / Mawatari Daiki)

Data Engineer/MLOps Engineer 株式会社GENDA

好きなものたち

Vim Neovim tmux Alacritty

GitHub X Website

2. 入社時のAWS機械学習環境

2.1. 入社時のAWS機械学習環境: ECS中心の構成

2.2. 開発で感じた課題

3. Databricksへの移行

3.1. 移行後: Databricks 環境の構成

3.2. AWSサービスとの対応

4. 導入効果

4.1. 開発サイクルの変化

4.2. インターン生でもすぐ活躍

4.3. 定量的な改善効果

4.4. ほぼゼロコストで本番運用

5. まとめ

5.1. Databricks on AWS では AWS の知見がそのまま活きる

  • S3 / EC2 / IAM Role など、既存の AWS 知識が活用できる
  • AWS 構成からの移行がスムーズ
  • インフラは AWS のまま、開発体験が劇的に向上
    • AWS 分かる人が1人でもいれば大体何とかなる

5.2. 併せてこちらもご確認ください

GENDAのデータサイエンティスト開発体験向上の取り組み紹介

AWS ECSからDatabricksへの移行

https://zenn.dev/genda_jp/articles/724a597e8f18ff