Quando é necessário mover um grande conjunto de ficheiros de uma localização remota para outra, especialmente entre diferentes serviços de nuvem, copiar todos os ficheiros da origem para a sua máquina local e depois carregá-los para o novo destino pode ser um pesadelo. Imagine lidar com um terabyte de ficheiros. Tem espaço de armazenamento para isso no seu computador?
Felizmente, há uma maneira melhor de lidar com isso: rclone. O rclone é uma CLI que lhe permite executar operações de ficheiros em lote diretamente entre localizações remotas, sincronizando-os eficientemente da origem para o destino.
Neste post, vamos guiá-lo através do uso do rclone para copiar arquivos de uma unidade de armazenamento em nuvem para o Linode Object Storage, tornando o processo o mais simples possível.
O que é o rclone?
O Rclone é um programa de linha de comandos que gere ficheiros no armazenamento em nuvem. É como um canivete suíço para o armazenamento na nuvem, tratando de tarefas como sincronizar, copiar e mover ficheiros.
Como funciona?
O Rclone configura "remotos" para cada serviço de nuvem com o qual deseja interagir. Uma vez configurado, você pode usar comandos rclone para transferir dados entre eles. Embora os ficheiros passem pela sua máquina local, não são aí armazenados a longo prazo.
O que é que se pode fazer com ele?
Com o rclone, é possível:
- Sincronizar ficheiros entre diferentes serviços de nuvem.
- Copiar e mover ficheiros de forma eficiente.
- Monte o armazenamento na nuvem como um sistema de ficheiros no seu computador local.
- Encripte ficheiros para um armazenamento seguro.
O Rclone suporta muitos serviços de nuvem, incluindo Linode Object Storage, Google Drive, AWS S3 , Nextcloud, e muito mais. É uma ferramenta versátil para gerir os seus dados na nuvem.
Agora que sabemos o que o rclone pode fazer, vamos demonstrar como o pode utilizar para sincronizar dados entre o Google Drive e o Linode Object Storage.
Passo 1: Criar um Linode (opcional, mas recomendado)
A utilização do rclone envolve a transferência de ficheiros da fonte remota para a sua máquina local antes de os mover para o destino remoto. Embora estes ficheiros não sejam mantidos localmente, os dados continuam a viajar através da sua ligação à Internet.
Para otimizar o processo e reduzir a carga na sua rede doméstica, recomendamos a criação de uma VM Linode. Ao fazer isso, você encurta o caminho de transferência de dados.
Para otimizar sua configuração, escolha um Linode na mesma região que seu bucket Linode Object Storage .
Passo 2: Instalar o rclone
Depois de configurar sua VM Linode, o próximo passo é instalar o rclone. Primeiro, use o SSH para se conectar à sua instância do Linode. No painel do Linode, você pode se conectar através do Console LISH.
Execute o seguinte comando para descarregar e instalar o rclone:
~# curl https://rclone.org/install.sh | sudo bash |
Verifique se o rclone está instalado corretamente executando o seguinte:
~# rclone version |
Depois de confirmar que a instalação foi bem sucedida, está pronto para configurar o rclone com os seus comandos de armazenamento na nuvem.
Passo 3: Adicionar um novo controlo remoto (Google Drive) ao rclone
Para começar a transferir ficheiros, é necessário configurar o rclone para aceder ao seu Google Drive. Para tal, terá de obter credenciais. Siga estas instruções para criar uma conta de serviço e obter uma chave pública/privada para a sua conta de serviço. Guarde este ficheiro na sua máquina local como service-account.json. Em seguida, use o SFTP para transferir esse arquivo para sua VM Linode (já que o rclone precisará fazer referência a ele).
Com o ficheiro da chave da conta de serviço na sua VM Linode, utilize o seguinte comando para configurar o controlo remoto do Google Drive no rclone:
~# rclone config |
Siga as instruções para configurar um novo controlo remoto:
- Selecionar "n" para um
new remote. Nameo controlo remoto (por exemplo: "gdrive").- Para
storage typeseleccione "Google Drive" na lista de opções. - Deixe client_id e client_secret em branco.
- Selecionar o
scope. Para os nossos fins, vamos escolher "Acesso só de leitura aos metadados e ao conteúdo dos ficheiros". - Para o ficheiro service_account, introduza o caminho para o ficheiro JSON com as credenciais da conta de serviço que descarregou acima.
- Escolha as predefinições para as restantes perguntas.
Para obter passos mais detalhados, também pode consultar a documentação do rclone para o Google Drive.
Uma vez concluído, o rclone terá acesso ao seu Google Drive, pronto para operações com ficheiros.
Passo 4: Adicionar um novo remoto (Linode) ao rclone
O próximo passo é configurar um segundo remoto no rclone, apontando para o Linode Object Storage. Assim como na etapa anterior, você precisará obter suas credenciais de armazenamento em nuvem.
As credenciais do Linode Object Storage são semelhantes às credenciais do AWS S3 . Você pode obter sua chave de acesso e chave secreta no Linode Cloud Manager. Na página Object Storage página, clique em Create Access Key.
Depois de criar a chave de acesso e a chave secreta, copie-as.
Use o seguinte comando para configurar o Linode remoto no rclone:
~# rclone version |
Siga as instruções para configurar um novo controlo remoto:
- Selecionar "n" para um
new remote. Nameo remoto (por exemplo: "linode").- Para
storage typeseleccione "Amazon S3 Compliant Storage Providers" na lista de opções. - Para
providerseleccione "Linode Object Storage" na lista de opções. - Seleccione "Introduzir as credenciais de AWS no passo seguinte".
- Para access_key_id, cole a chave de acesso que copiou acima.
- Para secret_access_key, cole a chave secreta que copiou acima.
- Selecione a região para o seu balde Linode Object Storage .
- Escolha as predefinições para as restantes perguntas.
Para obter etapas detalhadas, consulte a documentação do rclone para Linode Object Storage.
Uma vez concluído, o rclone terá acesso ao seu Linode Object Storage, pronto para sincronizar ficheiros do Google Drive.
Passo 5: Sincronizar
Com o Google Drive e o Linode Object Storage configurados como remotos no rclone, pode agora sincronizar ficheiros entre eles.
Para a nossa demonstração, queremos sincronizar o conteúdo dos dados no nosso Google Drive para uma pasta chamada dados no nosso balde Linode Object Storage .
Vamos começar por ver o que está na nossa pasta do Google Drive:
~# rclone size gdrive:/data |
Aqui está o que vemos no nosso balde Linode Object Storage :
~# rclone size linode:/data |
Como esperado, a pasta de dados não existe (ainda).
Para sincronizar os nossos ficheiros, podemos utilizar o seguinte comando básico:
~# rclone sync gdrive:/data linode:/data |
Este comando copiará arquivos do seu Google Drive (origem) para o seu Linode Object Storage (destino).
Se quiséssemos monitorizar o processo de transferência, adicionaríamos o sinalizador -progress:
~# rclone sync \ gdrive:/data \ linode:/data \ --progress |
Podemos otimizar ainda mais o processo de sincronização configurando o número de transferências simultâneas com o sinalizador -transfers:
~# rclone sync \ gdrive:/data \ linode:/data \ --progress –transfers=8 |
À medida que a nossa sincronização começa, vemos o rclone a atualizar constantemente os estados das transferências:
Transferred: 6.152 KiB / 145.195 KiB, 4%, 421 B/s, ETA 5m37s |
Após a sincronização inicial, podemos executar novamente o comando para garantir que todos os ficheiros estão actualizados. O Rclone apenas transferirá ficheiros novos ou alterados, tornando as sincronizações subsequentes mais rápidas.
~# rclone sync gdrive:/data linode:/data --progress |
Este passo garante que os seus ficheiros são transferidos de forma eficiente e mantidos em sincronia entre o Google Drive e o Linode Object Storage.
Conclusão
Nesta postagem, orientamos você a usar o rclone para transferir arquivos com eficiência do Google Drive para o Linode Object Storage. Embora tenhamos usado especificamente o Google Drive e o Linode Object Storage para nossa demonstração, o rclone suporta dezenas de provedores de armazenamento em nuvem.
Para recapitular:
- O Rclone permite-lhe executar operações de ficheiros em lote diretamente entre serviços de nuvem.
- A configuração de uma VM Linode na mesma região que seu Linode Object Storage pode otimizar suas transferências.
- A configuração do rclone com o Google Drive e o Linode Object Storage remotes é simples e poderosa.
- A utilização da funcionalidade de sincronização do rclone ajuda a manter os seus ficheiros actualizados sem intervenção manual.
Pronto para agilizar suas transferências de arquivos? Experimente o Linode Object Storage hoje e veja como pode ser fácil gerenciar seus dados na nuvem!
Comentários