Quando è necessario spostare una serie di file di grandi dimensioni da una posizione remota a un'altra, in particolare tra diversi servizi cloud, copiare tutti i file dall'origine al computer locale e poi caricarli sulla nuova destinazione può essere un incubo. Immaginate di gestire un terabyte di file. Avete lo spazio di archiviazione necessario sul vostro computer?
Fortunatamente, esiste un modo migliore per gestire questo problema: rclone. Rclone è uno strumento CLI strumento che consente di eseguire operazioni di file batch direttamente tra posizioni remote, sincronizzandole in modo efficiente dall'origine alla destinazione.
In questo post, vi guideremo nell'utilizzo di rclone per copiare i file da un'unità di archiviazione cloud a Linode Object Storage, rendendo il processo il più semplice possibile.
Che cos'è rclone?
Rclone è un programma a riga di comando che gestisce i file sul cloud storage. È come un coltellino svizzero per il cloud storage, in grado di gestire operazioni come la sincronizzazione, la copia e lo spostamento dei file.
Come funziona?
Rclone imposta dei "telecomandi" per ogni servizio cloud con cui si desidera interagire. Una volta configurati, è possibile utilizzare i comandi di rclone per trasferire i dati tra di essi. Sebbene i file passino attraverso il computer locale, non vengono memorizzati a lungo termine.
Cosa si può fare con essa?
Con rclone è possibile:
- Sincronizzare i file tra diversi servizi cloud.
- Copiare e spostare i file in modo efficiente.
- Montare il cloud storage come file system sul computer locale.
- Crittografia dei file per un'archiviazione sicura.
Rclone supporta molti servizi cloud, tra cui Linode Object Storage, Google Drive, AWS S3 , Nextcloud, e altri ancora. È uno strumento versatile per la gestione dei dati cloud.
Ora che sappiamo cosa può fare rclone, dimostriamo come si può usare per sincronizzare i dati tra Google Drive e Linode Object Storage.
Passo 1: Creare un Linode (facoltativo ma consigliato)
L'uso di rclone comporta il trasferimento dei file dall'origine remota al computer locale prima di spostarli alla destinazione remota. Anche se questi file non sono conservati localmente, i dati viaggiano comunque attraverso la connessione a Internet.
Per ottimizzare il processo e ridurre il carico sulla rete domestica, si consiglia di creare una macchina virtuale Linode. In questo modo, si accorcia il percorso di trasferimento dei dati.
Per ottimizzare la configurazione, scegliere un Linode nella stessa regione del proprio bucket Linode Object Storage .
Passo 2: Installare rclone
Dopo aver configurato la macchina virtuale Linode, il passo successivo è installare rclone. Per prima cosa, utilizzare SSH per connettersi alla propria istanza Linode. Dalla dashboard di Linode, è possibile connettersi tramite la Console LISH.
Eseguire il seguente comando per scaricare e installare rclone:
~# curl https://rclone.org/install.sh | sudo bash |
Verificate che rclone sia installato correttamente eseguendo quanto segue:
~# rclone version |
Dopo aver confermato che l'installazione è andata a buon fine, si è pronti a configurare rclone con i telecomandi del cloud storage.
Passo 3: Aggiungere un nuovo telecomando (Google Drive) a rclone
Per iniziare a trasferire i file, è necessario impostare rclone per accedere a Google Drive. Per farlo, è necessario ottenere le credenziali. Seguire queste istruzioni per creare un account di servizio e ottenere una chiave pubblica/privata per l'account di servizio. Salvare il file sul computer locale come service-account.json. Quindi, utilizzare SFTP per trasferire questo file alla macchina virtuale Linode (poiché rclone dovrà farvi riferimento).
Con il file chiave dell'account di servizio sulla macchina virtuale Linode, utilizzare il seguente comando per configurare il Google Drive remoto in rclone:
~# rclone config |
Seguire le istruzioni per impostare un nuovo telecomando:
- Scegliere "n" per un
new remote. Namedel telecomando (ad esempio: "gdrive").- Per
storage typeselezionare "Google Drive" dall'elenco delle opzioni. - Lasciare vuoto client_id e client_secret.
- Scegliere l'opzione appropriata
scope. Per i nostri scopi, sceglieremo "Accesso in sola lettura ai metadati e ai contenuti dei file". - Per il file service_account, inserire il percorso del file JSON con le credenziali dell'account di servizio scaricato in precedenza.
- Scegliere le impostazioni predefinite per le domande rimanenti.
Per una procedura più dettagliata, è possibile consultare la documentazione di rclone per Google Drive.
Una volta completato, rclone avrà accesso a Google Drive, pronto per le operazioni sui file.
Passo 4: Aggiungere un nuovo remoto (Linode) a rclone
Il passo successivo è quello di impostare un secondo remoto in rclone, che punta a Linode Object Storage. Come nel passo precedente, è necessario ottenere le credenziali del cloud storage.
Le credenziali di Linode Object Storage sono simili alle credenziali di AWS S3 . È possibile ottenere la chiave di accesso e la chiave segreta dal Linode Cloud Manager. Sul sito Object Storage pagina, fare clic su Create Access Key.
Dopo aver creato la chiave di accesso e la chiave segreta, copiarle.
Utilizzare il seguente comando per configurare il Linode remoto in rclone:
~# rclone version |
Seguire le istruzioni per impostare un nuovo telecomando:
- Scegliere "n" per un
new remote. Nameremoto (ad esempio: "linode").- Per
storage type, selezionare "Amazon S3 Compliant Storage Providers" dall'elenco delle opzioni. - Per
provider, selezionare "Linode Object Storage" dall'elenco delle opzioni. - Selezionare "Inserire le credenziali di AWS nel passaggio successivo".
- Per access_key_id, incollare la chiave di accesso copiata in precedenza.
- Per secret_access_key, incollare la chiave segreta copiata in precedenza.
- Selezionare la regione per il bucket Linode Object Storage .
- Scegliere le impostazioni predefinite per le domande rimanenti.
Per i passi dettagliati, consultare la documentazione di rclone per Linode Object Storage.
Una volta completato, rclone avrà accesso al vostro Linode Object Storage, pronto per sincronizzare i file da Google Drive.
Passo 5: sincronizzazione
Con Google Drive e Linode Object Storage configurati come remoti in rclone, è ora possibile sincronizzare i file tra loro.
Per la nostra dimostrazione, vogliamo sincronizzare il contenuto dei dati in Google Drive con una cartella chiamata dati nel nostro bucket Linode Object Storage .
Iniziamo a dare un'occhiata a ciò che c'è nella nostra cartella di Google Drive:
~# rclone size gdrive:/data |
Ecco cosa vediamo nel nostro bucket Linode Object Storage :
~# rclone size linode:/data |
Come previsto, la cartella dei dati non esiste (ancora).
Per sincronizzare i nostri file, possiamo usare il seguente comando di base:
~# rclone sync gdrive:/data linode:/data |
Questo comando copia i file da Google Drive (origine) a Linode Object Storage (destinazione).
Se si volesse monitorare il processo di trasferimento, si aggiungerebbe il flag -progress:
~# rclone sync \ gdrive:/data \ linode:/data \ --progress |
È possibile ottimizzare ulteriormente il processo di sincronizzazione configurando il numero di trasferimenti simultanei con il flag -transfers:
~# rclone sync \ gdrive:/data \ linode:/data \ --progress –transfers=8 |
Quando inizia la sincronizzazione, vediamo rclone aggiornare costantemente gli stati dei trasferimenti:
Transferred: 6.152 KiB / 145.195 KiB, 4%, 421 B/s, ETA 5m37s |
Dopo la sincronizzazione iniziale, possiamo rieseguire il comando per assicurarci che tutti i file siano aggiornati. Rclone trasferisce solo i file nuovi o modificati, rendendo più veloci le sincronizzazioni successive.
~# rclone sync gdrive:/data linode:/data --progress |
Questa fase assicura che i file siano trasferiti in modo efficiente e mantenuti sincronizzati tra Google Drive e Linode Object Storage.
Conclusione
In questo post, vi abbiamo illustrato come utilizzare rclone per trasferire in modo efficiente i file da Google Drive a Linode Object Storage. Sebbene per la nostra dimostrazione abbiamo utilizzato specificamente Google Drive e Linode Object Storage , rclone supporta decine di provider di cloud storage.
Ricapitolando:
- Rclone consente di eseguire operazioni batch sui file direttamente tra i servizi cloud.
- L'impostazione di una macchina virtuale Linode nella stessa regione del Linode Object Storage può ottimizzare i trasferimenti.
- La configurazione di rclone con Google Drive e i telecomandi Linode Object Storage è semplice e potente.
- L'uso della funzione di sincronizzazione di rclone aiuta a mantenere i file aggiornati senza interventi manuali.
Siete pronti a semplificare i trasferimenti di file? Provate oggi stesso Linode Object Storage e scoprite come può essere facile gestire i vostri dati nel cloud!
Commenti