GENDA の機械学習環境を AWS から Databricks に移行してみた

Databricks on AWS はいいぞ

uma-chan

2025-11-07

1. はじめに

1.1. 自己紹介

uma-chan (馬渡 大樹 / Mawatari Daiki)

Data Engineer/MLOps Engineer 株式会社GENDA

好きなものたち

Vim Neovim tmux Alacritty

GitHub X Website

2. 入社時のAWS機械学習環境

2.1. 入社時のAWS機械学習環境: ECS中心の構成

Aws Ml Architecture image

2.2. 開発で感じた課題

Aws Ml Challenges image

3. Databricksへの移行

3.1. 移行後: Databricks 環境の構成

Databricks Architecture image

3.2. AWSサービスとの対応

Aws Databricks Mapping image

4. 導入効果

4.1. 開発サイクルの変化

Development Cycle Comparison image

4.2. インターン生でもすぐ活躍

Intern Productivity image

4.3. 定量的な改善効果

Quantitative Improvement image

4.4. ほぼゼロコストで本番運用

Job Migration image

5. まとめ

5.1. Databricks on AWS では AWS の知見がそのまま活きる

  • S3 / EC2 / IAM Role など、既存の AWS 知識が活用できる
  • AWS 構成からの移行がスムーズ
  • インフラは AWS のまま、開発体験が劇的に向上
    • AWS 分かる人が1人でもいれば大体何とかなる

5.2. 併せてこちらもご確認ください

Zenn Twitter Card image

GENDAのデータサイエンティスト開発体験向上の取り組み紹介

AWS ECSからDatabricksへの移行

https://zenn.dev/genda_jp/articles/724a597e8f18ff