Apache Débit d'air

Plateforme de gestion de flux de travail à source ouverte pour les pipelines d'ingénierie des données.

Apache Airflow est une plateforme open source de gestion des flux de travail pour les pipelines d'ingénierie des données. Vous pouvez l'utiliser pour automatiser, orchestrer et surveiller les workflows et les pipelines de données. L'une des principales caractéristiques d'Airflow est la possibilité de créer et d'exécuter des flux de travail avec du code. Lorsque vous utilisez des workflows alimentés par du code, vous pouvez contrôler les versions, collaborer et déboguer vos workflows.

Déploiement d'une application Marketplace

Le Linode Marketplace vous permet de déployer facilement des logiciels sur une instance de calcul à l'aide du gestionnaire de nua ges. Voir Get Started with Marketplace Apps (Démarrer avec Apps ) pour les étapes complètes.

1. Connectez-vous au gestionnaire de cloud et sélectionnez le lien Marketplace dans le menu de navigation de gauche. La page Linode Create s'affiche avec l'onglet Marketplace est présélectionné.
2. Dans la section Select App, sélectionnez l'application que vous souhaitez déployer.
3. Complétez le formulaire en suivant les étapes et les conseils du guide Creating a Compute Instance. Selon l'application Marketplace que vous avez sélectionnée, des options de configuration supplémentaires peuvent être disponibles. Consultez la section Options de configuration ci-dessous pour connaître les distributions compatibles, les plans recommandés et toutes les options de configuration supplémentaires disponibles pour cette application Marketplace .
4. Cliquez sur le bouton Create Linode (Créer un Linode). Une fois que l'instance de calcul a été provisionnée et mise sous tension, attendez que l'installation du logiciel soit terminée. Si l'instance est mise hors tension ou redémarrée avant ce moment, l'installation du logiciel échouera probablement.
5. Pour vérifier que l'application a été entièrement installée, consultez l a section Get Started with Marketplace Apps > Verify Installation (Démarrer avec les applications > Vérifier l'installation). Une fois l'application installée, suivez les instructions de la section Mise en route après le déploiement pour accéder à l'application et commencer à l'utiliser.

Temps de déploiement estimé : Apache Airflow devrait être entièrement installé dans les 10 à 15 minutes suivant la fin du provisionnement de l'instance de calcul.

• Distributions prises en charge : Ubuntu 20.04 LTS
• Plan minimum recommandé : Tous les types et toutes les tailles de plans peuvent être utilisés.

Apache Options de débit d'air

• Adresse électronique (obligatoire) : L'adresse électronique à utiliser pour générer des certificats SSL.

Utilisateur limité (facultatif)

Vous pouvez éventuellement remplir les champs suivants pour créer automatiquement un utilisateur limité pour votre nouvelle Instance de Calcul. Ceci est recommandé pour la plupart des déploiements comme mesure de sécurité supplémentaire. Ce compte sera attribué à l'instance de calcul sudo qui fournit une permission élevée lors de l'exécution de commandes avec le groupe sudo préfixe.

• Utilisateur sudo limité : Entrez votre nom d'utilisateur préféré pour l'utilisateur limité.
• Mot de passe pour l'utilisateur limité : Entrez un mot de passe fort pour le nouvel utilisateur.
• Clé publique SSH pour l'utilisateur limité : Si vous souhaitez vous connecter en tant qu'utilisateur limité par le biais de l'authentification par clé publique (sans entrer de mot de passe), entrez votre clé publique ici. Voir Création d'une paire de clés SSH et Configuration de l'authentification par clé publique sur un serveur pour obtenir des instructions sur la génération d'une paire de clés.
• Désactiver l'accès root via SSH : pour empêcher l'utilisateur root de se connecter via SSH, sélectionnez Oui (recommandé). Vous pouvez toujours passer à l'utilisateur root une fois connecté et vous pouvez également vous connecter en tant que root via Lish.

Domaine personnalisé (facultatif)

Si vous souhaitez configurer automatiquement un domaine personnalisé, vous devez d'abord configurer votre domaine pour qu'il utilise les serveurs de noms de Linode. Cela se fait généralement directement par l'intermédiaire de votre bureau d'enregistrement. Voir Utiliser les serveurs de noms de Linode avec votre domaine. Une fois cela terminé, vous pouvez remplir les champs suivants pour l'application Marketplace :

• Linode API Token : Si vous souhaitez utiliser le Token Linode pour gérer les enregistrements DNS de votre domaine personnalisé, créez un Token Linode. DNS Manager pour gérer les enregistrements DNS de votre domaine personnalisé, créez un jeton d'accès personnel Linode API Personal Access Token sur votre compte avec un accès en lecture/écriture aux domaines. Si ce jeton est fourni avec les champs sous-domaine et domaine (décrits ci-dessous), l'installation tente de créer des enregistrements DNS via le Linode API. Voir Obtenir un jeton d'accès API . Si vous ne fournissez pas ce champ, vous devez configurer manuellement vos enregistrements DNS via votre fournisseur DNS et les faire pointer vers l'adresse IP de la nouvelle instance.
• Sous-domaine : Le sous-domaine que vous souhaitez utiliser, tel que www pour www.example.com.
• Domaine : Le nom de domaine que vous souhaitez utiliser, tel que exemple.com.

Démarrage après le déploiement

1. Connectez-vous à votre nouvelle instance de calcul via LISH ou SSH en utilisant l'utilisateur root et le mot de passe associé que vous avez saisi lors de la création de l'instance.
2. Si vous vous connectez le jour même où vous avez déployé l'application, un message s'affiche avec un lien vers votre Apache Airflow GUI et le nom d'utilisateur et le mot de passe à utiliser.

The installation of Apache Airflow is now complete, and the application is running in standalone mode.
#
You can log into the Airflow GUI at 192-0-2-170.ip.linodeusercontent.com
With the credentials:
Username: admin
Password: pNbgWNDhYcRNvgRq
#
Standalone mode is not recommended for production.

Si vous ne voyez pas ce message, vous pouvez l'afficher à l'aide de la commande ci-dessous :

cat /etc/motd

3. Ouvrez votre navigateur web et naviguez jusqu'à l'URL Airflow fournie à la dernière étape. Il doit s'agir du domaine personnalisé que vous avez saisi lors du déploiement ou du domaine rDNS de votre Instance Compute (tel que 192-0-2-1.ip.linodeusercontent.com). Voir le Gestion des adresses IP pour plus d'informations sur l'affichage du rDNS.

4. Dans l'invite de connexion Airflow qui s'affiche, entrez les informations d'identification fournies à l'étape précédente et connectez-vous.

3. Une fois que vous êtes connecté, le tableau de bord Airflow apparaît. A partir de là, vous pouvez visualiser les DAGs (Directed Acyclic Graphs) et accéder à toutes les autres zones du tableau de bord.

6. Vous pouvez maintenant commencer à utiliser Apache Airflow. Si vous n'êtes pas familier avec ce système, vous pouvez lire la documentation officielle ou les guides de Linode :

• Flux d'air > Tutoriels
• Flux d'air > Guides pratiques
• Créer des connexions et des variables dans Apache Airflow

Avertissement

L'application Linode Marketplace déploie Apache Airflow en mode autonome, adapté au développement, aux tests et aux configurations initiales. Le mode autonome n'est pas recommandé pour les déploiements en production.

L'application Apache Airflow Marketplace a été développée par Linode. Pour obtenir de l'aide concernant le déploiement de l'application, contactez Linode Support. Pour obtenir de l'aide concernant l'outil ou le logiciel lui-même, visitez le forum de la communauté Airflow.