데이터 엔지니어링 파이프라인을 위한 오픈 소스 워크플로 관리 플랫폼.
Apache Airflow 는 데이터 엔지니어링 파이프라인을 위한 오픈 소스 워크플로 관리 플랫폼입니다. 이를 사용하여 워크플로 및 데이터 파이프라인을 자동화, 오케스트레이션 및 모니터링할 수 있습니다. Airflow의 가장 큰 기능 중 하나는 코드로 워크플로를 만들고 실행할 수 있다는 것입니다. 코드로 구동되는 워크플로를 사용하면 워크플로의 버전을 제어하고, 공동 작업하고, 디버깅할 수 있습니다.
Marketplace 앱 배포
리노드 Marketplace 에서는 클라우드 관리자를 사용하여 컴퓨팅 인스턴스에 소프트웨어를 쉽게 배포할 수 있습니다. 전체 단계는 Marketplace 앱 시작하기를 참조하세요.
- Cloud 관리자에 로그인하고 왼쪽 탐색 메뉴에서 Marketplace 링크를 선택합니다. 그러면 리노드 만들기 페이지가 표시되며, 미리 선택된 Marketplace 탭이 미리 선택되어 있습니다.
- 앱 선택 섹션에서 배포할 앱을 선택합니다.
- 컴퓨팅 인스턴스 만들기 가이드의 단계와 조언에 따라 양식을 작성합니다. 선택한 Marketplace 앱에 따라 사용 가능한 추가 구성 옵션이 있을 수 있습니다. 호환되는 배포판, 권장 요금제 및 이 Marketplace 앱에 사용할 수 있는 추가 구성 옵션은 아래의 구성 옵션 섹션을 참조하세요.
- 리노드 만들기 단추를 클릭합니다. Compute 인스턴스가 프로비전되고 완전히 전원이 켜지면 소프트웨어 설치가 완료될 때까지 기다립니다. 이 시간 전에 인스턴스가 전원을 끄거나 다시 시작하면 소프트웨어 설치가 실패할 수 있습니다.
- 앱이 완전히 설치되었는지 확인하려면 Marketplace 앱 시작하기 > 설치 확인을 참조하세요. 설치가 완료되면 배포 후 시작하기 섹션의 지침에 따라 애플리케이션에 액세스하여 사용을 시작합니다.
예상 배포 시간: Apache 공기 흐름은 컴퓨팅 인스턴스가 프로비전을 완료한 후 10-15분 내에 완전히 설치되어야 합니다.
- 지원되는 배포판: Ubuntu 20.04 LTS
- 권장 최소 계획: 모든 플랜 유형 및 크기를 사용할 수 있습니다.
Apache 공기 흐름 옵션
- 이메일 주소(필수): SSL 인증서를 생성하는 데 사용할 이메일 주소 입니다.
제한된 사용자(선택 사항)
선택적으로 다음 필드를 작성하여 새 계산 인스턴스에 대해 제한된 사용자를 자동으로 만들 수 있습니다. 이 방법은 대부분의 배포에 추가 보안 조치로 권장됩니다. 이 계정은 스도 () 명령을 실행할 때 높은 권한을 제공하는 그룹( sudo 접두사.
- 한정 된 sudo 사용자: 제한된 사용자에 대해 기본 사용자 이름을 입력합니다.
- 제한된 사용자를 위한 암호: 새 사용자에 대한 강력한 암호를 입력합니다.
- 제한된 사용자를 위한 SSH 공개 키: 공개 키 인증을 통해(암호를 입력하지 않고) 제한된 사용자로 로그인하려면 여기에서 공개 키를 입력합니다. 키 쌍을 생성하는 방법에 대한 지침은 서버에서 SSH 키 쌍 만들기 및 공용 키 인증 구성을 참조하십시오.
- SSH를 통해 루트 액세스를 사용하지 않도록 설정합니다. 루트 사용자가 SSH 를 통해 로그인하지 못하도록 차단하려면 예(권장)를 선택합니다. 로그인한 후에도 루트 사용자로 전환할 수 있으며 Lish를 통해 루트로 로그인할 수도 있습니다.
사용자 지정 도메인(선택 사항)
사용자 정의 도메인을 자동으로 구성하려면 먼저 Linode의 네임 서버를 사용하도록 도메인을 구성해야 합니다. 이 작업은 일반적으로 등록기관을 통해 직접 수행합니다. 도메인에 Linode 네임 서버 사용을 참조하세요. 설정이 완료되면 Marketplace 앱의 다음 필드를 채우면 됩니다:
- 리노드 API 토큰: 리노드를 사용하여 사용자 정의 도메인을 관리하려면 DNS Manager 를 사용하여 사용자 정의 도메인의 DNS 레코드를 관리하려면 계정에 Linode API 도메인에 대한 읽기/쓰기 액세스 권한이 있는 개인 액세스 토큰을 계정에 생성하세요. 이 토큰이 하위 도메인 및 도메인 필드(아래 설명)와 함께 제공되면 설치는 리노드를 통해 DNS 레코드 생성을 시도합니다. API. API 액세스 토큰 받기를 참조하세요. 이 필드를 제공하지 않으면 DNS 공급업체를 통해 DNS 레코드를 수동으로 구성하고 새 인스턴스의 IP 주소를 가리키도록 해야 합니다.
- 하위 도메인: 사용하려는 하위 도메인(예: www 때문에
www.example.com. - 도메인: example.com 등 사용하려는 도메인 이름입니다.
배포 후 시작하기
- 인스턴스를 생성할 때 입력한 루트 사용자 및 연결된 암호를 사용하여 LISH 또는 SSH를 통해 새 컴퓨팅 인스턴스에 로그인합니다.
- 앱을 배포한 당일에 로그인하면 Apache 공기 흐름 GUI 및 사용할 사용자 이름 및 암호.
The installation of Apache Airflow is now complete, and the application is running in standalone mode.
#
You can log into the Airflow GUI at 192-0-2-170.ip.linodeusercontent.com
With the credentials:
Username: admin
Password: pNbgWNDhYcRNvgRq
#
Standalone mode is not recommended for production.이 메시지가 표시되지 않으면 아래 명령을 사용하여 출력할 수 있습니다.
cat /etc/motd
3. 웹 브라우저를 열고 마지막 단계에서 제공한 Airflow URL로 이동합니다. 이 도메인은 배포 중에 입력한 사용자 지정 도메인 또는 컴퓨팅 인스턴스의 rDNS 도메인(예: 192-0-2-1.ip.linodeusercontent.com). IP 주소 관리 rDNS 보기에 대한 자세한 내용은 가이드입니다.
4. 표시되는 Airflow 로그인 프롬프트에서 이전 단계에서 제공한 자격 증명을 입력하고 로그인합니다.
3. 로그인하면 에어플로우 대시보드가 나타납니다. 여기에서 DAG(방향성 비순환 그래프)를 보고 대시보드의 다른 모든 영역에 액세스할 수 있습니다.
6. 이제 사용을 시작할 수 있습니다. Apache 공기 흐름. 익숙하지 않은 경우 공식 문서 또는 Linode의 자체 가이드를 읽어보십시오.
경고
Linode Marketplace 앱은 개발, 테스트 및 초기 구성에 적합한 독립형 모드에서 Apache Airflow를 배포합니다. 프로덕션 배포에는 독립형 모드를 사용하지 않는 것이 좋습니다.
Apache Airflow Marketplace 앱은 Linode에서 제작했습니다. 앱 배포와 관련된 지원은 다음 연락처로 문의하세요. Linode 지원. 도구 또는 소프트웨어 자체에 대한 지원은 Airflow 커뮤니티 포럼을 참조하세요.
