データエンジニアリング・パイプラインのためのオープンソースのワークフロー管理プラットフォーム。
Apache Airflowは、データエンジニアリングパイプラインのためのオープンソースのワークフロー管理プラットフォームです。ワークフローやデータパイプラインの自動化、オーケストレーション、監視に利用することができます。Airflowの最大の特徴は、コードでワークフローを作成し実行できることです。コードによるワークフローを利用することで、ワークフローのバージョン管理、コラボレーション、デバッグが可能になります。
Marketplace アプリのデプロイ
LinodeMarketplace では、クラウドマネージャーを使用してコンピュートインスタンス上にソフトウェアを簡単にデプロイすることができます。完全な手順については、 Marketplace Appsを始めるを参照してください。
- クラウドマネージャーにログインし、左のナビゲーションメニューから Marketplaceリンクを選択します。Linode作成ページが表示されます。 Marketplaceタブが表示されます。
- Select App」セクションで、デプロイしたいアプリを選択します。
- Creating a Compute Instance（コンピュートインスタンスの作成）ガイドの手順とアドバイスに従って、フォームを完成させます。選択したMarketplace Appによっては、利用可能な追加構成オプションがあります。互換性のあるディストリビューション、推奨プラン、およびこのMarketplace Appで利用可能な追加の構成オプションについては、以下の「構成オプション」のセクションを参照してください。
- Linodeの作成]ボタンをクリックします。Compute Instanceがプロビジョニングされ、完全に電源が入ったら、ソフトウェアのインストールが完了するのを待ちます。この前にインスタンスの電源を切ったり再起動したりすると、ソフトウェアのインストールに失敗する可能性があります。
- アプリが完全にインストールされたことを確認するには、「Get Started withMarketplace Apps > Verify Installation（ アプリを使い始める）」を参照してください。インストールが完了したら、「Getting Started After Deployment（デプロイ後に始める）」セクションの指示に従ってアプリケーションにアクセスし、使用を開始します。
導入時間の目安 Apache Airflowは、Compute Instanceのプロビジョニング終了後、10-15分以内に完全にインストールされるはずです。
- 対応ディストリビューション Ubuntu 20.04 LTS
- 推奨する最小限のプランです。 すべてのプランタイプ、サイズが使用可能です。
Apache エアフローオプション
- メールアドレス （必須）。 SSL証明書の生成に使用するEメールアドレス。
限定ユーザー（オプション）
オプションで以下のフィールドに入力すると、新しいCompute Instanceの限定ユーザーを自動的に作成することができます。これは、追加のセキュリティ対策として、ほとんどのデプロイメントで推奨されています。このアカウントは スッド グループでコマンドを実行する際に、昇格されたパーミッションを提供します。 sudo の接頭辞があります。
- sudoの限定ユーザー。制限付きユーザーとして希望するユーザー名を入力します。
- 限定ユーザーのパスワード。新しいユーザーのための強力なパスワードを入力します。
- 限定ユーザのSSH公開鍵。公開鍵認証で（パスワードを入力せずに）限定ユーザーとしてログインする場合は、ここに公開鍵を入力します。鍵ペアの生成方法については、「SSH鍵ペアの作成」および「サーバーでの公開鍵認証の設定」を参照してください。
- Disable root access over SSH：ルートユーザーがSSHでログインできないようにするには、［はい］を選択します（推奨）。ただし、一度ログインした後はrootユーザーに切り替えることができ、Lishからrootでログインすることも可能です。
カスタムドメイン(オプション)
カスタムドメインを自動的に設定したい場合は、まずLinodeのネームサーバーを使用するようにドメインを設定する必要があります。これは通常、レジストラを通して直接行います。ドメインでLinodeのネームサーバーを使用するを参照してください。これが完了したら、Marketplace アプリの以下のフィールドに入力します：
- LinodeAPI トークン:カスタムドメインのDNSレコードを管理するためにLinodeの DNS ManagerカスタムドメインのDNSレコードを管理するためにLinodeの API パーソナルアクセストークンを作成してください。サブドメインとドメインフィールド(以下に説明)と一緒に提供された場合、インストールはLinodeを経由してDNSレコードを作成しようとします。 API. API アクセストークンの取得を参照してください。このフィールドを提供しない場合、DNSプロバイダを通してDNSレコードを手動で設定し、新しいインスタンスのIPアドレスを指定する必要があります。
- サブドメインです。 など、使用したいサブドメインを指定します。 www にとって
www.example.com. - ドメイン。 example.comのように、使用したいドメイン名です。
展開後のスタートアップ
- インスタンス作成時に入力したルートユーザーと関連するパスワードを使用して、LISHまたはSSHで新しいコンピュート・インスタンスにログインします。
- アプリを展開した当日にログインすると、Apache Airflow GUIへのリンクと、使用するユーザー名とパスワードがメッセージで表示されます。
The installation of Apache Airflow is now complete, and the application is running in standalone mode.
#
You can log into the Airflow GUI at 192-0-2-170.ip.linodeusercontent.com
With the credentials:
Username: admin
Password: pNbgWNDhYcRNvgRq
#
Standalone mode is not recommended for production.このメッセージが表示されない場合は、以下のコマンドで出力することができます。
cat /etc/motd
3.Webブラウザを開き、最後のステップで提供されたAirflow URLに移動します。これは、デプロイ時に入力したカスタムドメイン、またはCompute InstanceのrDNSドメイン（例えば、「Security」）である必要があります。 192-0-2-1.ip.linodeusercontent.com).をご覧ください。 IPアドレスの管理 のガイドを参照し、rDNSの表示方法を確認してください。
4.表示されるAirflowログインプロンプトで、前のステップで提供された認証情報を入力し、サインインします。
3.サインインすると、Airflow ダッシュボードが表示されます。ここから、DAG（Directed Acyclic Graphs）を表示し、ダッシュボードの他のすべての領域にアクセスすることができます。
6.これでApache Airflow を使い始めることができます。もし慣れていなければ、公式ドキュメントやLinode自身のガイドに目を通すことを検討してください。
警告
LinodeMarketplace アプリは、開発、テスト、初期設定に適したスタンドアロンモードでApache Airflow をデプロイします。スタンドアロンモードは本番環境にはお勧めしません。
Apache AirflowMarketplace アプリはLinodeによって構築されました。アプリのデプロイに関するサポートは Linodeサポート.ツールやソフトウェア自体のサポートについては、Airflowコミュニティフォーラムをご覧ください。
