특히 서로 다른 클라우드 서비스 간에 대량의 파일을 한 원격 위치에서 다른 위치로 이동해야 하는 경우, 소스에서 로컬 컴퓨터로 모든 파일을 복사한 다음 새 대상에 업로드하는 작업은 악몽과도 같은 일이 될 수 있습니다. 테라바이트 단위의 파일을 처리한다고 상상해 보세요. 컴퓨터에 이를 위한 저장 공간이 있나요?
다행히도 이 문제를 처리하는 더 좋은 방법이 있습니다. Rclone은 CLI 원격 위치 간에 직접 배치 파일 작업을 수행하여 소스에서 대상까지 효율적으로 동기화할 수 있는 도구입니다.
이 글에서는 rclone을 사용하여 클라우드 스토리지 드라이브에서 Linode Object Storage 로 파일을 복사하는 방법을 안내하여 프로세스를 최대한 원활하게 진행할 수 있도록 합니다.
알클론이란 무엇인가요?
Rclone은 클라우드 스토리지의 파일을 관리하는 명령줄 프로그램입니다. 파일 동기화, 복사, 이동과 같은 작업을 처리하는 클라우드 스토리지용 스위스 군용 칼과 같은 프로그램입니다.
보조금 수령 방법
Rclone은 상호 작용하려는 각 클라우드 서비스에 대해 "원격"을 설정합니다. 구성이 완료되면 rclone 명령을 사용하여 이들 간에 데이터를 전송할 수 있습니다. 파일은 로컬 컴퓨터를 통과하지만, 로컬 컴퓨터에 오래 저장되지는 않습니다.
무엇을 할 수 있나요?
rclone을 사용하면 가능합니다:
- 서로 다른 클라우드 서비스 간에 파일을 동기화하세요.
- 파일을 효율적으로 복사하고 이동하세요.
- 클라우드 스토리지를 로컬 컴퓨터에 파일 시스템으로 마운트합니다.
- 파일을 암호화하여 안전하게 저장하세요.
Rclone은 리노드 Object Storage, 구글 드라이브, AWS S3 , Nextcloud 등 다양한 클라우드 서비스를 지원합니다. 클라우드 데이터를 관리하기 위한 다용도 도구입니다.
이제 rclone이 무엇을 할 수 있는지 알았으니, 이를 사용하여 Google 드라이브와 Linode Object Storage 간에 데이터를 동기화하는 방법을 시연해 보겠습니다.
1단계: 리노드 생성(선택 사항이지만 권장)
rclone을 사용하려면 원격 소스에서 로컬 컴퓨터로 파일을 전송한 후 원격 대상으로 이동해야 합니다. 이러한 파일은 로컬에 보관되지 않지만 데이터는 여전히 인터넷 연결을 통해 이동합니다.
프로세스를 최적화하고 홈 네트워크의 부하를 줄이려면 리노드 가상 머신을 만드는 것이 좋습니다. 이렇게 하면 데이터 전송 경로를 단축할 수 있습니다.
설정을 최적화하려면 리노드 Object Storage 버킷과 같은 지역에 있는 리노드를 선택하세요.
2단계: rclone 설치
리노드 가상 머신을 설정한 후 다음 단계는 rclone을 설치하는 것입니다. 먼저 SSH를 사용하여 Linode 인스턴스에 연결합니다. Linode 대시보드에서 LISH 콘솔을 통해 연결할 수 있습니다.
다음 명령을 실행하여 rclone을 다운로드하고 설치합니다:
~# curl https://rclone.org/install.sh | sudo bash |
다음을 실행하여 rclone이 올바르게 설치되었는지 확인합니다:
~# rclone version |
설치가 성공적으로 완료되었음을 확인했으면 클라우드 스토리지 리모컨으로 rclone을 구성할 준비가 된 것입니다.
3단계: rclone에 새 원격(Google 드라이브)을 추가합니다.
파일 전송을 시작하려면 Google 드라이브에 액세스할 수 있도록 rclone을 설정해야 합니다. 이렇게 하려면 자격 증명을 얻어야 합니다. 다음 안내에 따라 서비스 계정을 만들고 서비스 계정의 공개/비공개 키를 얻으세요. 이 파일을 로컬 컴퓨터에 service-account.json으로 저장합니다. 그런 다음 SFTP를 사용하여 이 파일을 리노드 VM으로 전송합니다(rclone에서 참조해야 하므로).
리노드 VM에 서비스 계정 키 파일이 있으면 다음 명령을 사용하여 rclone에서 Google 드라이브 원격을 구성합니다:
~# rclone config |
지시에 따라 새 리모컨을 설정합니다:
- a의 경우 "n"을 선택합니다.
new remote. Name리모컨(예: "gdrive").- For
storage type를 클릭하고 옵션 목록에서 'Google 드라이브'를 선택합니다. - client_id와 client_secret은 비워둡니다.
- 적절한
scope. 여기서는 '파일 메타데이터 및 콘텐츠에 대한 읽기 전용 액세스'를 선택하겠습니다. - service_account 파일에 위에서 다운로드한 서비스 계정 자격 증명이 포함된 JSON 파일의 경로를 입력합니다.
- 나머지 질문에 대한 기본값을 선택합니다.
자세한 단계는 Google 드라이브에 대한 rclone 설명서를 참조하세요.
완료되면 rclone이 Google 드라이브에 액세스하여 파일 작업을 할 수 있습니다.
4단계: rclone에 새 리모트(리노드) 추가하기
다음 단계는 리노드 Object Storage 를 가리키는 두 번째 리모트를 rclone에 설정하는 것입니다. 이전 단계와 마찬가지로 클라우드 스토리지 자격 증명을 가져와야 합니다.
Linode Object Storage 자격 증명은 AWS S3 자격 증명과 유사합니다. 리노드 클라우드 관리자에서 액세스 키와 비밀 키를 받을 수 있습니다. 에서 Object Storage 페이지에서 Create Access Key.
액세스 키와 비밀 키를 생성한 후 복사합니다.
다음 명령을 사용하여 rclone에서 리노드 리모트를 구성합니다:
~# rclone version |
지시에 따라 새 리모컨을 설정합니다:
- a의 경우 "n"을 선택합니다.
new remote. Name원격(예: "리노드").- For
storage type를 클릭하고 옵션 목록에서 "Amazon S3 호환 스토리지 제공업체"를 선택합니다. - For
provider를 클릭하고 옵션 목록에서 "Linode Object Storage"를 선택합니다. - "다음 단계에서 AWS 자격 증명 입력"을 선택합니다.
- access_key_id에 위에서 복사한 액세스 키를 붙여넣습니다.
- secret_access_key에 위에서 복사한 비밀 키를 붙여넣습니다.
- 리노드 Object Storage 버킷의 지역을 선택합니다.
- 나머지 질문에 대한 기본값을 선택합니다.
자세한 단계는 리노드 Object Storage 에 대한 rclone 설명서를 참조하세요.
완료되면 rclone이 리노드 Object Storage 에 액세스하여 Google 드라이브에서 파일을 동기화할 준비가 됩니다.
5단계: 동기화
이제 구글 드라이브와 리노드 Object Storage 를 모두 rclone에서 리모컨으로 구성하면 둘 간에 파일을 동기화할 수 있습니다.
데모에서는 Google 드라이브에 있는 데이터의 내용을 Linode Object Storage 버킷의 데이터라는 폴더에 동기화하려고 합니다.
Google 드라이브 폴더에 무엇이 있는지 살펴보는 것부터 시작하겠습니다:
~# rclone size gdrive:/data |
다음은 리노드 Object Storage 버킷에 표시되는 내용입니다:
~# rclone size linode:/data |
예상대로 데이터 폴더가 존재하지 않습니다(아직).
파일을 동기화하려면 다음과 같은 기본 명령을 사용할 수 있습니다:
~# rclone sync gdrive:/data linode:/data |
이 명령은 Google 드라이브(소스)에서 리노드 Object Storage (대상)로 파일을 복사합니다.
전송 프로세스를 모니터링하려면 -progress 플래그를 추가합니다:
~# rclone sync \ gdrive:/data \ linode:/data \ --progress |
전송 플래그를 사용하여 동시 전송 횟수를 구성하면 동기화 프로세스를 더욱 최적화할 수 있습니다:
~# rclone sync \ gdrive:/data \ linode:/data \ --progress –transfers=8 |
동기화가 시작되면 rclone이 전송 상태를 지속적으로 업데이트하는 것을 볼 수 있습니다:
Transferred: 6.152 KiB / 145.195 KiB, 4%, 421 B/s, ETA 5m37s |
초기 동기화 후 명령을 다시 실행하여 모든 파일이 최신 상태인지 확인할 수 있습니다. Rclone은 새 파일이나 변경된 파일만 전송하므로 이후 동기화가 더 빨라집니다.
~# rclone sync gdrive:/data linode:/data --progress |
이 단계는 파일이 Google 드라이브와 Linode Object Storage 간에 효율적으로 전송되고 동기화 상태를 유지하도록 합니다.
결론
이 글에서는 rclone을 사용하여 Google 드라이브에서 Linode Object Storage 로 파일을 효율적으로 전송하는 방법을 안내해 드렸습니다. 데모에서는 특별히 Google 드라이브와 Linode Object Storage 를 사용했지만, rclone은 수십 개의 클라우드 스토리지 제공업체를 지원합니다.
요약하면 다음과 같습니다:
- Rclone을 사용하면 클라우드 서비스 간에 직접 배치 파일 작업을 수행할 수 있습니다.
- 리노드( Object Storage )와 동일한 리전에 리노드 VM을 설정하면 전송을 최적화할 수 있습니다.
- 구글 드라이브 및 리노드 Object Storage 리모컨으로 rclone을 구성하는 것은 간단하고 강력합니다.
- rclone의 동기화 기능을 사용하면 수동 개입 없이도 파일을 최신 상태로 유지할 수 있습니다.
파일 전송을 간소화할 준비가 되셨나요? 지금 바로 Linode Object Storage 에서 클라우드 데이터를 얼마나 쉽게 관리할 수 있는지 확인해 보세요!
내용