データ基盤– category –

Airflowの基礎とワークフローとして利用するユースケースについて記事にしてきましたが、今回は運用しようとした時にどの様なアーキテクチャでAirflowを構築することになるのか検討てみようと思います。 過去2回の記事についてはこちら。👇 第1回：Apache A...

前回Apach Airflowの概要について調べました。（こちら） ジョブの実行やエラーだった時にメール送信やリトライする機能を実現しようとした時に、ジョブ管理システムの導入や導入しているシステムを利用することが一般的だと思います。ジョブ管理システム...

前々から分散データ処理やデータプラットフォームについて興味がありFluentdなどの書籍は読んだりしていたのですが、今回は自身の業務でもジョブ管理システムについて調べる必要があったりしたので、今回はワークフロー管理ツールである「Apache Airflow」...