Apache Flusso d'aria

Piattaforma open source di gestione dei flussi di lavoro per le pipeline di ingegneria dei dati.

Apache Airflow è una piattaforma open source di gestione dei flussi di lavoro per le pipeline di ingegneria dei dati. Può essere utilizzata per automatizzare, orchestrare e monitorare flussi di lavoro e pipeline di dati. Una delle caratteristiche principali di Airflow è la possibilità di creare ed eseguire flussi di lavoro con il codice. Quando si utilizzano flussi di lavoro alimentati da codice, è possibile controllare la versione, collaborare ed eseguire il debug dei flussi di lavoro.

Distribuzione di un'applicazione Marketplace

Linode Marketplace consente di distribuire facilmente il software su un'istanza di calcolo utilizzando il Cloud Manager. Per i passaggi completi, vedere Iniziare con le applicazioni Marketplace .

1. Accedere al Cloud Manager e selezionare il link Marketplace dal menu di navigazione a sinistra. Viene visualizzata la pagina di creazione di Linode con la scheda Marketplace preselezionata.
2. Nella sezione Seleziona applicazione, selezionare l'applicazione che si desidera distribuire.
3. Completare il modulo seguendo i passaggi e i consigli della guida Creazione di un'istanza di calcolo. A seconda dell'applicazione Marketplace selezionata, potrebbero essere disponibili ulteriori opzioni di configurazione. Vedere la sezione Opzioni di configurazione di seguito per le distribuzioni compatibili, i piani consigliati e le opzioni di configurazione aggiuntive disponibili per l'applicazione Marketplace .
4. Fare clic sul pulsante Crea Linode. Una volta che l'istanza di calcolo è stata approvvigionata e si è accesa completamente, attendere il completamento dell'installazione del software. Se l'istanza viene spenta o riavviata prima di questo momento, è probabile che l'installazione del software fallisca.
5. Per verificare che l'applicazione sia stata completamente installata, vedere Iniziare con le applicazioni Marketplace > Verifica dell'installazione. Una volta installata, per accedere all'applicazione e iniziare a usarla, seguire le istruzioni della sezione Come iniziare dopo la distribuzione.

Tempo stimato per l'installazione: Apache Airflow dovrebbe essere completamente installato entro 10-15 minuti dal termine del provisioning dell'istanza di calcolo.

• Distribuzioni supportate: Ubuntu 20.04 LTS
• Piano minimo consigliato: È possibile utilizzare tutti i tipi e le dimensioni di piano.

Apache Opzioni del flusso d'aria

• Indirizzo e-mail (obbligatorio): L'indirizzo e-mail da utilizzare per la generazione dei certificati SSL.

Utente limitato (opzionale)

È possibile compilare i campi seguenti per creare automaticamente un utente limitato per la nuova istanza di calcolo. Questa opzione è consigliata per la maggior parte delle installazioni come misura di sicurezza aggiuntiva. Questo account sarà assegnato alla cartella sudo che fornisce permessi elevati per l'esecuzione di comandi con l'opzione sudo prefisso.

• Utente sudo limitato: Inserire il nome utente preferito per l'utente limitato.
• Password per l'utente limitato: Inserire una password forte per il nuovo utente.
• Chiave pubblica SSH per l'utente limitato: Se si desidera effettuare il login come utente limitato attraverso l'autenticazione a chiave pubblica (senza inserire la password), inserire qui la chiave pubblica. Per istruzioni sulla generazione di una coppia di chiavi, vedere Creazione di una coppia di chiavi SSH e Configurazione dell'autenticazione a chiave pubblica su un server.
• Disabilita accesso root su SSH: per bloccare l'accesso dell'utente root su SSH, selezionare Sì (consigliato). È comunque possibile passare all'utente root una volta effettuato l'accesso e si può accedere come root anche tramite Lish.

Dominio personalizzato (opzionale)

Se si desidera configurare automaticamente un dominio personalizzato, è necessario prima configurare il dominio per utilizzare i server dei nomi di Linode. In genere, questo si ottiene direttamente tramite il proprio registrar. Vedere Utilizzare i server dei nomi di Linode con il proprio dominio. Una volta terminato, è possibile compilare i seguenti campi per l'applicazione Marketplace :

• Token Linode API : Se si desidera utilizzare il token Linode DNS Manager per gestire i record DNS del proprio dominio personalizzato, creare un token di accesso personale Linode sul proprio account con accesso in lettura/scrittura ai domini. API Personal Access Token sul proprio account con accesso in lettura/scrittura ai domini. Se questo viene fornito insieme ai campi del sottodominio e del dominio (descritti di seguito), l'installazione tenta di creare i record DNS tramite Linode. API. Vedere Ottenere un token di accesso API . Se non si fornisce questo campo, è necessario configurare manualmente i record DNS tramite il proprio provider DNS e puntarli all'indirizzo IP della nuova istanza.
• Sottodominio: Il sottodominio che si desidera utilizzare, come ad esempio www per www.example.com.
• Dominio: Il nome di dominio che si desidera utilizzare, ad esempio example.com.

Come iniziare dopo la distribuzione

1. Accedere alla nuova istanza di calcolo tramite LISH o SSH utilizzando l'utente root e la password associata immessi al momento della creazione dell'istanza.
2. Se si accede lo stesso giorno in cui è stata distribuita l'applicazione, viene visualizzato un messaggio con un link alla GUI di Apache Airflow e il nome utente e la password da utilizzare.

The installation of Apache Airflow is now complete, and the application is running in standalone mode.
#
You can log into the Airflow GUI at 192-0-2-170.ip.linodeusercontent.com
With the credentials:
Username: admin
Password: pNbgWNDhYcRNvgRq
#
Standalone mode is not recommended for production.

Se non viene visualizzato questo messaggio, è possibile visualizzarlo utilizzando il comando seguente:

cat /etc/motd

3. Aprite il browser web e navigate all'URL di Airflow fornito nell'ultimo passaggio. Questo dovrebbe essere il dominio personalizzato inserito durante la distribuzione o il dominio rDNS della vostra istanza di calcolo (ad esempio 192-0-2-1.ip.linodeusercontent.com). Vedere il Gestione degli indirizzi IP per informazioni sulla visualizzazione dell'rDNS.

4. Nel prompt di login di Airflow che appare, inserite le credenziali fornite nel passaggio precedente e accedete.

3. Una volta effettuato l'accesso, appare il cruscotto di Airflow. Da qui è possibile visualizzare i DAG (Directed Acyclic Graphs) e accedere a tutte le altre aree del dashboard.

6. Ora è possibile iniziare a utilizzare Apache Airflow. Se non si ha familiarità con esso, si consiglia di leggere la documentazione ufficiale o le guide di Linode:

• Flusso d'aria > Tutorial
• Flusso d'aria > Guide alla guida
• Creare connessioni e variabili in Apache Flusso d'aria

Avvertenze

L'applicazione Linode Marketplace distribuisce Apache Airflow in modalità standalone, adatta per lo sviluppo, i test e le configurazioni iniziali. La modalità standalone non è consigliata per le distribuzioni di produzione.

L'applicazione Apache Airflow Marketplace è stata realizzata da Linode. Per assistenza sulla distribuzione dell'applicazione, contattare Supporto Linode. Per assistenza sullo strumento o sul software stesso, visitare il forum della comunità Airflow.