Apache Luftstrom

Open-Source-Workflow-Management-Plattform für Data-Engineering-Pipelines.

Apache Airflow ist eine Open-Source-Workflow-Management-Plattform für Data-Engineering-Pipelines. Mit ihr können Sie Workflows und Datenpipelines automatisieren, orchestrieren und überwachen. Eine der wichtigsten Funktionen von Airflow ist, dass Sie Workflows mit Code erstellen und ausführen können. Wenn Sie Workflows verwenden, die durch Code unterstützt werden, können Sie Ihre Workflows versionskontrollieren, gemeinsam bearbeiten und debuggen.

Bereitstellen einer Marketplace App

Der Linode Marketplace ermöglicht Ihnen die einfache Bereitstellung von Software auf einer Recheninstanz mit dem Cloud Manager. Siehe Erste Schritte mit Marketplace Apps für vollständige Schritte.

1. Melden Sie sich beim Cloud Manager an und wählen Sie den Link Marketplace Link aus dem linken Navigationsmenü. Dies zeigt die Linode Create Seite mit der Marketplace Registerkarte vorgewählt.
2. Wählen Sie unter dem Abschnitt App auswählen die App aus, die Sie bereitstellen möchten.
3. Füllen Sie das Formular aus, indem Sie die Schritte und Ratschläge in der Anleitung zum Erstellen einer Recheninstanz befolgen. Je nach der von Ihnen ausgewählten Marketplace-App sind möglicherweise zusätzliche Konfigurationsoptionen verfügbar. Im Abschnitt Konfigurationsoptionen unten finden Sie kompatible Distributionen, empfohlene Tarife und alle zusätzlichen Konfigurationsoptionen, die für diese Marketplace-App verfügbar sind.
4. Klicken Sie auf die Schaltfläche Linode erstellen. Sobald die Recheninstanz bereitgestellt wurde und vollständig eingeschaltet ist, warten Sie auf den Abschluss der Softwareinstallation. Wenn die Instanz vor diesem Zeitpunkt ausgeschaltet oder neu gestartet wird, schlägt die Softwareinstallation wahrscheinlich fehl.
5. Um zu überprüfen, ob die Anwendung vollständig installiert wurde, siehe Erste Schritte mit Marketplace Apps > Installation überprüfen. Nach der Installation befolgen Sie die Anweisungen im Abschnitt Erste Schritte nach der Bereitstellung, um auf die Anwendung zuzugreifen und sie zu nutzen.

Geschätzte Bereitstellungszeit: Apache Airflow sollte innerhalb von 10-15 Minuten nach Abschluss der Bereitstellung der Compute Instance vollständig installiert sein.

• Unterstützte Distributionen: Ubuntu 20.04 LTS
• Empfohlener Mindestplan: Alle Planarten und -größen können verwendet werden.

Apache Luftstrom-Optionen

• E-Mail-Adresse (erforderlich): Die E-Mail-Adresse, die für die Erstellung von SSL-Zertifikaten verwendet werden soll.

Eingeschränkter Benutzer (optional)

Sie können optional die folgenden Felder ausfüllen, um automatisch einen eingeschränkten Benutzer für Ihre neue Recheninstanz zu erstellen. Dies wird für die meisten Bereitstellungen als zusätzliche Sicherheitsmaßnahme empfohlen. Dieses Konto wird der sudo Gruppe, die erweiterte Rechte für die Ausführung von Befehlen mit der sudo Vorwahl.

• Eingeschränkter sudo-Benutzer: Geben Sie Ihren bevorzugten Benutzernamen für den eingeschränkten Benutzer ein.
• Passwort für den eingeschränkten Benutzer: Geben Sie ein sicheres Passwort für den neuen Benutzer ein.
• Öffentlicher SSH-Schlüssel für den eingeschränkten Benutzer: Wenn Sie sich als eingeschränkter Benutzer über die Authentifizierung mit öffentlichem Schlüssel anmelden möchten (ohne Eingabe eines Passworts), geben Sie hier Ihren öffentlichen Schlüssel ein. Anweisungen zur Erzeugung eines Schlüsselpaars finden Sie unter Erstellen eines SSH-Schlüsselpaars und Konfigurieren der Authentifizierung mit öffentlichem Schlüssel auf einem Server.
• Root-Zugriff über SSH deaktivieren: Um den Root-Benutzer an der Anmeldung über SSH zu hindern, wählen Sie Ja (empfohlen). Sie können trotzdem zum Root-Benutzer wechseln, wenn Sie angemeldet sind, und Sie können sich auch über Lish als Root anmelden.

Benutzerdefinierte Domäne (optional)

Wenn Sie eine benutzerdefinierte Domain automatisch konfigurieren möchten, müssen Sie zunächst Ihre Domain so konfigurieren, dass sie die Nameserver von Linode verwendet. Dies geschieht normalerweise direkt über Ihren Registrar. Siehe Verwenden Sie Linode's Nameserver mit Ihrer Domain. Sobald dies abgeschlossen ist, können Sie die folgenden Felder für die Marketplace App ausfüllen:

• Token für das Linode-API: Wenn Sie den DNS-Manager von Linode verwenden möchten, um DNS-Einträge für Ihre benutzerdefinierte Domain zu verwalten, erstellen Sie ein Linode-API Personal Access Token auf Ihrem Konto mit Lese-/Schreibzugriff auf Domains. Wenn dies zusammen mit den Feldern Subdomain und Domain (siehe unten) angegeben wird, versucht die Installation, DNS-Einträge über das Linode-API zu erstellen. Siehe API-Zugriffstoken erhalten. Wenn Sie dieses Feld nicht angeben, müssen Sie Ihre DNS-Einträge manuell über Ihren DNS-Anbieter konfigurieren und sie auf die IP-Adresse der neuen Instanz verweisen.
• Subdomain: Die Subdomain, die Sie verwenden möchten, z. B. www für www.example.com.
• Domäne: Der Domänenname, den Sie verwenden möchten, z. B. example.com.

Erste Schritte nach der Bereitstellung

1. Melden Sie sich über LISH oder SSH mit dem Root-Benutzer und dem zugehörigen Passwort, das Sie bei der Erstellung der Instanz eingegeben haben, bei Ihrer neuen Recheninstanz an.
2. Wenn Sie sich am selben Tag anmelden, an dem Sie die App bereitgestellt haben, wird eine Meldung mit einem Link zu Ihrer Apache Airflow-GUI und dem zu verwendenden Benutzernamen und Passwort angezeigt.

The installation of Apache Airflow is now complete, and the application is running in standalone mode.
#
You can log into the Airflow GUI at 192-0-2-170.ip.linodeusercontent.com
With the credentials:
Username: admin
Password: pNbgWNDhYcRNvgRq
#
Standalone mode is not recommended for production.

Wenn Sie diese Meldung nicht sehen, können Sie sie mit dem folgenden Befehl ausgeben:

cat /etc/motd

3. Öffnen Sie Ihren Webbrowser und navigieren Sie zu der im letzten Schritt angegebenen Airflow-URL. Dies sollte die benutzerdefinierte Domäne sein, die Sie während der Bereitstellung eingegeben haben, oder die rDNS-Domäne Ihrer Recheninstanz (z. B. 192-0-2-1.ip.linodeusercontent.com). Siehe die Verwalten von IP-Adressen Anleitung für Informationen zur Anzeige des rDNS.

4. Geben Sie in der daraufhin angezeigten Airflow-Anmeldeaufforderung die in einem früheren Schritt angegebenen Anmeldedaten ein und melden Sie sich an.

3. Sobald Sie angemeldet sind, erscheint das Airflow-Dashboard. Von hier aus können Sie die DAGs (Directed Acyclic Graphs) einsehen und auf alle anderen Bereiche des Dashboards zugreifen.

6. Sie können nun Apache Airflow verwenden. Wenn Sie damit nicht vertraut sind, sollten Sie die offizielle Dokumentation oder die Anleitungen von Linode durchlesen:

• Luftströmung > Tutorials
• Luftstrom > Anleitungen
• Erstellen von Verbindungen und Variablen in Apache Airflow

Warnung

Die Linode Marketplace App stellt Apache Airflow im Standalone-Modus bereit, der sich für Entwicklung, Tests und Erstkonfigurationen eignet. Der Standalone-Modus wird nicht für Produktionsbereitstellungen empfohlen.

Die Apache Airflow Marketplace App wurde von Linode entwickelt. Für Unterstützung bei der App-Bereitstellung wenden Sie sich bitte an Linode-Unterstützung. Für Unterstützung bezüglich des Tools oder der Software selbst, besuchen Sie das Airflow Community Forum.