Apache Airflow

Plataforma de gerenciamento de fluxo de trabalho de código aberto para dutos de engenharia de dados.

Apache O Airflow é uma plataforma de gerenciamento de fluxo de trabalho de código aberto para dutos de engenharia de dados. Você pode usá-la para automatizar, orquestrar e monitorar os fluxos de trabalho e os dutos de dados. Uma das maiores características do Airflow é que você pode criar e executar fluxos de trabalho com código. Quando você usa fluxos de trabalho que são alimentados por código, você pode controlar a versão, colaborar e depurar seus fluxos de trabalho.

Implementação de um aplicativo Marketplace

O Linode Marketplace permite que você implemente facilmente software em uma instância de computação usando o Cloud Manager. Consulte Introdução aos aplicativos Marketplace para obter as etapas completas.

1. Faça login no Cloud Manager e selecione o link Marketplace no menu de navegação esquerdo. Isso exibe a página Linode Create com a guia Marketplace pré-selecionada.
2. Na seção Selecionar aplicativo, selecione o aplicativo que você gostaria de implantar.
3. Preencha o formulário seguindo as etapas e as orientações do guia Creating a Compute Instance (Criando uma instância de computação ). Dependendo do aplicativo Marketplace que você selecionou, pode haver opções de configuração adicionais disponíveis. Consulte a seção Opções de configuração abaixo para obter distribuições compatíveis, planos recomendados e quaisquer opções de configuração adicionais disponíveis para esse aplicativo Marketplace .
4. Clique no botão Criar Linode. Uma vez que a Instância de Computação tenha sido provisionada e totalmente ligada, aguarde que a instalação do software esteja concluída. Se a instância for desligada ou reiniciada antes deste tempo, a instalação do software provavelmente falhará.
5. Para verificar se o aplicativo foi totalmente instalado, consulte Get Started with Marketplace Apps > Verify Installation. Depois de instalado, siga as instruções da seção Getting Started After Deployment para acessar o aplicativo e começar a usá-lo.

Tempo estimado de implantação: Apache O fluxo de ar deve ser totalmente instalado dentro de 10-15 minutos depois que a Instância de Cálculo tiver terminado o provisionamento.

• Distribuições com suporte: Ubuntu 20.04 LTS
• Plano mínimo recomendado: Todos os tipos e tamanhos de planos podem ser usados.

Apache Opções de fluxo de ar

• Endereço de e-mail (obrigatório): O endereço de e-mail a ser usado para a geração de certificados SSL.

Usuário limitado (Opcional)

Você pode opcionalmente preencher os seguintes campos para criar automaticamente um usuário limitado para sua nova Instância de Computação. Isto é recomendado para a maioria das implementações como uma medida de segurança adicional. Esta conta será atribuída à sudo grupo, que fornece permissão elevada ao executar comandos com o sudo prefixo.

• Usuário limitado do sudo: Digite seu nome de usuário preferido para o usuário limitado.
• Senha para o usuário limitado: Digite uma senha forte para o novo usuário.
• Chave pública SSH para o usuário limitado: Se você deseja entrar como usuário limitado através de autenticação de chave pública (sem digitar uma senha), digite sua chave pública aqui. Consulte Criando um par de chaves SSH e Configurando autenticação de chave pública em um servidor para obter instruções sobre como gerar um par de chaves.
• Desabilitar acesso root sobre SSH: Para bloquear o usuário root de fazer login sobre SSH, selecione Sim (recomendado). Você ainda pode mudar para o usuário root uma vez logado e você também pode logar como root através de Lish.

Domínio personalizado (Opcional)

Se você deseja configurar automaticamente um domínio personalizado, primeiro precisa configurar seu domínio para usar os servidores de nomes da Linode. Normalmente, isso é feito diretamente por meio do seu registrador. Consulte Usar os servidores de nomes da Linode com seu domínio. Quando isso for concluído, você poderá preencher os seguintes campos para o aplicativo Marketplace :

• Linode API Token: Se você deseja usar o Linode's DNS Manager para gerenciar os registros DNS do seu domínio personalizado, crie um Linode API Personal Access Token em sua conta com acesso de leitura/gravação aos domínios. Se isso for fornecido junto com os campos de subdomínio e domínio (descritos abaixo), a instalação tentará criar registros DNS por meio do Linode API. Consulte Obter um token de acesso API . Se não fornecer esse campo, será necessário configurar manualmente os registros de DNS por meio do provedor de DNS e apontá-los para o endereço IP da nova instância.
• Subdomínio: O subdomínio que você deseja utilizar, como por exemplo www para www.example.com.
• Domínio: O nome de domínio que você deseja usar, como por exemplo.com.

Começando após a implantação

1. Entre em sua nova instância de computação através de LISH ou SSH usando o usuário root e a senha associada que você inseriu ao criar a instância.
2. Se você se conectar no mesmo dia em que implantou o aplicativo, uma mensagem é exibida com um link para seu GUI Apache Airflow e o nome de usuário e senha a serem usados.

The installation of Apache Airflow is now complete, and the application is running in standalone mode.
#
You can log into the Airflow GUI at 192-0-2-170.ip.linodeusercontent.com
With the credentials:
Username: admin
Password: pNbgWNDhYcRNvgRq
#
Standalone mode is not recommended for production.

Se você não vir esta mensagem, você pode emiti-la usando o comando abaixo:

cat /etc/motd

3. Abra seu navegador da web e navegue até a URL do fluxo aéreo fornecida na última etapa. Este deve ser o domínio personalizado que você inseriu durante a implantação ou o domínio rDNS de sua Instância de Computação (como 192-0-2-1.ip.linodeusercontent.com). Veja o Gerenciamento de endereços IP guia para informações sobre a visualização do rDNS.

4. Dentro do prompt de login do Airflow que aparece, digite as credenciais fornecidas em uma etapa anterior e faça o login.

3. Uma vez conectado, aparece o painel do fluxo de ar. Daqui, você pode visualizar os DAGs (Gráficos Acíclicos Direcionados) e acessar todas as outras áreas do painel de instrumentos.

6. Agora você pode começar a usar Apache Airflow. Se você não estiver familiarizado com ele, considere a leitura através da documentação oficial ou dos próprios guias da Linode:

• Fluxo de ar > Tutoriais
• Fluxo de ar > Guias de Como Chegar
• Criar Conexões e Variáveis em Apache Airflow

Advertência

O aplicativo Linode Marketplace implementa o Apache Airflow em modo autônomo, adequado para desenvolvimento, testes e configurações iniciais. O modo autônomo não é recomendado para implementações de produção.

O aplicativo Apache Airflow Marketplace foi desenvolvido pela Linode. Para obter suporte sobre a implantação do aplicativo, entre em contato com o Suporte da Linode. Para obter suporte sobre a ferramenta ou o software em si, visite o fórum da comunidade Airflow.