用于数据工程管道的开源工作流管理平台。
Apache Airflow是一个开源的工作流管理平台,用于数据工程管道。你可以用它来自动化、协调和监控工作流程和数据管道。Airflow最大的特点之一是,你可以用代码创建和执行工作流程。当你使用由代码驱动的工作流时,你可以对你的工作流进行版本控制、协作和调试。
部署Marketplace 应用程序
LinodeMarketplace 允许您使用云管理器在计算实例上轻松部署软件。有关完整步骤,请参阅 Marketplace Apps 入门。
- 登录云管理器并从左侧导航菜单中选择 Marketplace链接。这将显示 Linode创建页面,并预选 Marketplace选项卡。
- 在选择应用程序部分,选择你想部署的应用程序。
- 按照创建计算实例指南中的步骤和建议填写表格。根据您选择的Marketplace App,可能会有其他可用的配置选项。请参阅下面的 "配置选项"部分,了解该Marketplace App 的兼容发行版、推荐计划和任何其他可用配置选项。
- 点击 "创建Linode"按钮。一旦计算实例被配置并完全通电,等待软件安装完成。如果在这之前关闭实例的电源或重新启动,软件安装将可能失败。
- 要验证应用程序是否已完全安装,请参阅开始使用Marketplace 应用程序 > 验证安装。安装完成后,请按照 "部署后入门"部分的说明访问应用程序并开始使用。
预计的部署时间: Apache Airflow应在计算实例完成配置后10-15分钟内完全安装完毕。
- 支持的发行版: Ubuntu 20.04 LTS
- 推荐的最小计划: 所有的计划类型和尺寸都可以使用。
Apache 气流选项
- 电子邮件地址 (必填): 用于生成SSL证书的电子邮件地址。
有限用户(可选)
您可以选择填写以下字段,为您的新计算实例自动创建一个有限用户。作为一项额外的安全措施,建议在大多数部署中这样做。这个账户将被分配给 肃德 组,该组在运行具有以下功能的命令时提供高等级权限 sudo
前缀。
- 有限的sudo用户。输入你喜欢的有限用户的用户名。
- 有限用户的密码。为新用户输入一个强密码。
- 有限用户的SSH公钥。如果你想通过公钥认证(不需要输入密码)作为有限用户登录,在这里输入你的公钥。关于生成密钥对的说明,请参见创建SSH密钥对和配置服务器上的公钥认证。
- 禁止通过SSH访问根用户:要阻止根用户通过SSH登录,请选择是(推荐)。你仍然可以在登录后切换到根用户,你也可以通过Lish以根身份登录。
自定义域名(可选)
如果您希望自动配置自定义域名,首先需要将域名配置为使用 Linode 的名称服务器。这通常通过您的注册商直接完成。请参阅将Linode 的名称服务器用于您的域名。完成配置后,您可以填写Marketplace App 的以下字段:
- LinodeAPI 令牌:如果您希望使用 Linode 的 DNS Manager管理您自定义域名的 DNS 记录,请在您的帐户上创建一个 Linode API 个人访问令牌。如果提供了该令牌以及子域和域字段(如下所述),安装程序将尝试通过 Linode 创建 DNS 记录。 API.请参阅获取API 访问令牌。如果未提供此字段,则需要通过 DNS 提供商手动配置 DNS 记录,并将其指向新实例的 IP 地址。
- 子域。 你希望使用的子域,比如说 淘宝网 为
www.example.com
. - 域名。你希望使用的域名,如example.com。
部署后开始工作
- 使用你在创建实例时输入的根用户和相关密码,通过LISH或SSH登录到你的新计算实例。
- 如果你在部署应用程序的同一天登录,会显示一条信息,其中有一个链接到你的Apache Airflow GUI以及要使用的用户名和密码。
The installation of Apache Airflow is now complete, and the application is running in standalone mode.
#
You can log into the Airflow GUI at 192-0-2-170.ip.linodeusercontent.com
With the credentials:
Username: admin
Password: pNbgWNDhYcRNvgRq
#
Standalone mode is not recommended for production.
如果你没有看到这条信息,你可以用下面的命令输出它:
cat /etc/motd
3.打开你的网络浏览器,导航到上一步提供的Airflow URL。这应该是你在部署过程中输入的自定义域或你的计算实例的rDNS域(如 192-0-2-1.ip.linodeusercontent.com
).参见 管理IP地址 关于查看rDNS的信息,请参见指南。
4.在出现的Airflow登录提示中,输入上一步提供的凭证并登录。
3.一旦你登录了,Airflow仪表板就会出现。在这里,你可以查看DAG(有向无环图)并访问仪表盘的所有其他区域。
6.你现在可以开始使用Apache Airflow。如果你对它不熟悉,可以考虑通读官方文档或Linode自己的指南:
警告
LinodeMarketplace 应用程序以独立模式部署Apache Airflow,适用于开发、测试和初始配置。不建议将独立模式用于生产部署。
Apache AirflowMarketplace 应用程序由 Linode 构建。有关应用程序部署的支持,请联系 Linode 支持.有关工具或软件本身的支持,请访问Airflow 社区论坛。