Apache Fluxo de ar

Plataforma de gestão de fluxo de trabalho de fonte aberta para gasodutos de engenharia de dados.

Apache Airflow é uma plataforma de gestão de fluxo de trabalho de fonte aberta para gasodutos de engenharia de dados. Pode utilizá-la para automatizar, orquestrar, e monitorizar fluxos de trabalho e condutas de dados. Uma das maiores características do Airflow é que pode criar e executar fluxos de trabalho com código. Quando utiliza fluxos de trabalho que são alimentados por código, pode controlar a versão, colaborar e depurar os seus fluxos de trabalho.

Implantação de uma aplicação Marketplace

O Linode Marketplace permite-lhe implementar facilmente software numa Instância de Computação utilizando o Cloud Manager. Consulte Introdução ao Marketplace Apps para obter as etapas completas.

1. Inicie sessão no Cloud Manager e seleccione a ligação Marketplace no menu de navegação esquerdo. Isso exibe a página Criar Linode com a guia Marketplace pré-selecionado.
2. Sob a secção Seleccionar aplicação, seleccione a aplicação que gostaria de implementar.
3. Preencha o formulário seguindo os passos e conselhos do guia Criar uma Instância de Computação. Dependendo da aplicação Marketplace que seleccionou, poderão estar disponíveis opções de configuração adicionais. Consulte a secção Opções de Configuração abaixo para obter distribuições compatíveis, planos recomendados e quaisquer opções de configuração adicionais disponíveis para esta aplicação Marketplace .
4. Clique no botão Criar Linode. Uma vez que a Instância de Cálculo tenha sido provisionada e esteja totalmente ligada, aguarde que a instalação do software esteja concluída. Se a instância for desligada ou reiniciada antes deste momento, a instalação do software provavelmente falhará.
5. Para verificar se a aplicação foi totalmente instalada, consulte Introdução a Marketplace Apps > Verificar instalação. Depois de instalada, siga as instruções na secção Introdução após a implementação para aceder à aplicação e começar a utilizá-la.

Tempo estimado de implantação: Apache O fluxo de ar deve ser totalmente instalado dentro de 10-15 minutos após a Comissão de Cálculo ter terminado o aprovisionamento.

• Distribuições suportadas: Ubuntu 20.04 LTS
• Plano mínimo recomendado: Podem ser utilizados todos os tipos e tamanhos de planos.

Apache Opções de fluxo de ar

• Endereço de correio electrónico (obrigatório) : O endereço de correio electrónico a utilizar para a geração de certificados SSL.

Utilizador limitado (Opcional)

Opcionalmente pode preencher os seguintes campos para criar automaticamente um utilizador limitado para a sua nova Instância de Computação. Isto é recomendado para a maioria das implantações como medida de segurança adicional. Esta conta será atribuída à sudo grupo, que fornece permissão elevada ao executar comandos com o sudo prefixo.

• Utilizador limitado de sudo: Introduza o seu nome de utilizador preferido para o utilizador limitado.
• Palavra-passe para o utilizador limitado: Introduza uma palavra-passe forte para o novo utilizador.
• Chave pública SSH para o utilizador limitado: Se desejar entrar como utilizador limitado através de autenticação de chave pública (sem introduzir uma palavra-passe), introduza aqui a sua chave pública. Ver Criar um par de chaves SSH e Configurar Autenticação de Chave Pública num Servidor para instruções sobre como gerar um par de chaves.
• Desactivar o acesso root sobre SSH: Para bloquear o utilizador root de iniciar sessão sobre SSH, seleccionar Sim (recomendado). Ainda pode mudar para o utilizador root uma vez iniciado a sessão e também pode iniciar a sessão como root através de Lish.

Domínio personalizado (Opcional)

Se você deseja configurar automaticamente um domínio personalizado, primeiro precisa configurar seu domínio para usar os servidores de nomes da Linode. Isso geralmente é realizado diretamente através do seu registrador. Consulte Usar os servidores de nomes da Linode com seu domínio. Quando isso estiver concluído, você pode preencher os seguintes campos para o aplicativo Marketplace :

• Linode API Token: Se desejar usar o Linode's DNS Manager para gerenciar registros DNS para seu domínio personalizado, crie um token de acesso pessoal do Linode API Token de acesso pessoal na sua conta com acesso de leitura/gravação aos domínios. Se isso for fornecido junto com os campos de subdomínio e domínio (descritos abaixo), a instalação tentará criar registros DNS através do Linode API. Consulte Obter um token de acesso API . Se não fornecer este campo, terá de configurar manualmente os seus registos DNS através do seu fornecedor de DNS e apontá-los para o endereço IP da nova instância.
• Subdomínio: O subdomínio que deseja utilizar, como por exemplo www para www.example.com.
• Domínio: O nome de domínio que deseja utilizar, como por exemplo.com.

Começar após a implantação

1. Inicie sessão na sua nova instância de computação através de LISH ou SSH usando o utilizador raiz e a palavra-passe associada que introduziu ao criar a instância.
2. Se iniciar sessão no mesmo dia em que implantou a aplicação, é exibida uma mensagem com um link para o seu GUI Apache Airflow e o nome de utilizador e palavra-passe a utilizar.

The installation of Apache Airflow is now complete, and the application is running in standalone mode.
#
You can log into the Airflow GUI at 192-0-2-170.ip.linodeusercontent.com
With the credentials:
Username: admin
Password: pNbgWNDhYcRNvgRq
#
Standalone mode is not recommended for production.

Se não vir esta mensagem, pode emiti-la usando o comando abaixo:

cat /etc/motd

3. Abra o seu web browser e navegue para o URL do fluxo aéreo fornecido no último passo. Este deve ser o domínio personalizado que introduziu durante a implementação ou o domínio rDNS da sua Compute Instance (tal como 192-0-2-1.ip.linodeusercontent.com). Ver o Gestão de Endereços IP guia de informação sobre a visualização do rDNS.

4. Dentro do aviso de login do Airflow que aparece, introduza as credenciais fornecidas num passo anterior e inicie a sessão.

3. Uma vez que se tenha entrado, aparece o painel de bordo do Airflow. A partir daqui, pode visualizar os DAGs (Gráficos Acíclicos Dirigidos) e aceder a todas as outras áreas do tablier.

6. Pode agora começar a utilizar Apache Airflow. Se não estiver familiarizado com ele, considere a leitura através da documentação oficial ou dos próprios guias de Linode:

• Fluxo de ar > Tutoriais
• Fluxo de ar > Guias de Como Chegar
• Criar Ligações e Variáveis em Apache Fluxo de ar

Advertência

A aplicação Linode Marketplace implementa o Apache Airflow em modo autónomo, adequado para desenvolvimento, testes e configurações iniciais. O modo autónomo não é recomendado para implementações de produção.

O aplicativo Apache Airflow Marketplace foi criado pela Linode. Para obter suporte sobre a implantação de aplicativos, entre em contato com Suporte da Linode. Para obter suporte sobre a ferramenta ou o software em si, visite o fórum da comunidade Airflow.