Clonage de contenu sur Linode Object Storage avec RClone

Lorsque vous devez déplacer un grand nombre de fichiers d'un site distant à un autre, en particulier entre différents services en nuage, copier tous les fichiers de la source sur votre machine locale, puis les télécharger vers la nouvelle destination peut être un cauchemar. Imaginez que vous ayez à gérer un téraoctet de fichiers. Disposez-vous de l'espace de stockage nécessaire sur votre machine ?

Heureusement, il existe une meilleure solution : rclone. Rclone est un CLI qui vous permet d'effectuer des opérations de fichiers par lots directement entre des emplacements distants, en les synchronisant efficacement de la source à la destination.

Dans cet article, nous allons vous guider dans l'utilisation de rclone pour copier des fichiers d'un disque de stockage en nuage vers Linode Object Storage, en rendant le processus aussi transparent que possible.

Qu'est-ce que rclone ?

Rclone est un programme en ligne de commande qui gère les fichiers sur le stockage en nuage. Il s'agit d'un véritable couteau suisse pour le stockage sur le cloud, qui prend en charge des tâches telles que la synchronisation, la copie et le déplacement de fichiers.

Comment cela fonctionne-t-il ?

Rclone met en place des "remotes" pour chaque service en nuage avec lequel vous souhaitez interagir. Une fois configuré, vous pouvez utiliser les commandes rclone pour transférer des données entre eux. Bien que les fichiers passent par votre machine locale, ils n'y sont pas stockés à long terme.

Que pouvez-vous en faire ?

Avec rclone, vous pouvez :

• Synchroniser des fichiers entre différents services en nuage.
• Copier et déplacer des fichiers efficacement.
• Montez le stockage en nuage en tant que système de fichiers sur votre machine locale.
• Cryptage des fichiers pour un stockage sécurisé.

Rclone prend en charge de nombreux services en nuage, notamment Linode Object Storage, Google Drive, AWS S3 , Nextcloud, et bien d'autres encore. C'est un outil polyvalent pour gérer vos données sur le cloud.

Maintenant que nous savons ce que rclone peut faire, nous allons voir comment l'utiliser pour synchroniser les données entre Google Drive et Linode Object Storage.

Étape 1 : Créer un Linode (facultatif mais recommandé)

L'utilisation de rclone implique le transfert de fichiers de la source distante vers votre machine locale avant de les déplacer vers la destination distante. Bien que ces fichiers ne soient pas conservés localement, les données transitent toujours par votre connexion internet.

Pour optimiser le processus et réduire la charge sur votre réseau domestique, nous vous recommandons de créer une VM Linode. Vous raccourcissez ainsi le chemin de transfert des données. 

Pour optimiser votre configuration, choisissez un Linode dans la même région que votre Linode Object Storage bucket.

Étape 2 : Installer rclone

Après avoir configuré votre Linode VM, l'étape suivante consiste à installer rclone. Tout d'abord, utilisez SSH pour vous connecter à votre instance Linode. Depuis le tableau de bord Linode, vous pouvez vous connecter via la console LISH.

Exécutez la commande suivante pour télécharger et installer rclone :

Vérifiez que rclone est correctement installé en exécutant la commande suivante :

Après avoir confirmé que l'installation s'est déroulée correctement, vous êtes prêt à configurer rclone avec vos serveurs de stockage en nuage.

Étape 3 : Ajouter un nouveau fichier distant (Google Drive) à rclone

Pour commencer à transférer des fichiers, vous devez configurer rclone pour qu'il accède à votre Google Drive. Pour ce faire, vous devez obtenir des informations d'identification. Suivez ces instructions pour créer un compte de service et obtenir une clé publique/privée pour votre compte de service. Enregistrez ce fichier sur votre machine locale sous le nom service-account.json. Ensuite, utilisez SFTP pour transférer ce fichier vers votre Linode VM (puisque rclone devra y faire référence).

Avec le fichier de clé de compte de service sur votre Linode VM, utilisez la commande suivante pour configurer le Google Drive distant dans rclone :

Suivez les instructions pour configurer une nouvelle télécommande :

1. Choisissez "n" pour un new remote.
2. Name la télécommande (par exemple : "gdrive").
3. Pour storage typeSélectionnez "Google Drive" dans la liste des options.
4. Laissez les champs client_id et client_secret vides.
5. Choisissez la méthode appropriée scope. Pour nos besoins, nous choisirons "Accès en lecture seule aux métadonnées et au contenu des fichiers".
6. Pour le fichier service_account, entrez le chemin d'accès au fichier JSON contenant les informations d'identification du compte de service que vous avez téléchargées ci-dessus.
7. Choisissez les valeurs par défaut pour les questions restantes.

Pour plus de détails, vous pouvez également consulter la documentation rclone pour Google Drive.

Une fois terminé, rclone aura accès à votre Google Drive, prêt à effectuer des opérations sur les fichiers.

Étape 4 : Ajouter un nouveau serveur distant (Linode) à rclone

L'étape suivante consiste à configurer un second serveur distant dans rclone, pointant vers la Linode Object Storage. Comme pour l'étape précédente, vous devrez obtenir vos identifiants de stockage sur le cloud.

Les identifiants Linode Object Storage sont similaires aux identifiants AWS S3 . Vous pouvez obtenir votre clé d'accès et votre clé secrète à partir du Linode Cloud Manager. Sur le site Object Storage page, cliquez sur Create Access Key.

Après avoir créé votre clé d'accès et votre clé secrète, copiez-les.

Utilisez la commande suivante pour configurer le Linode distant dans rclone :

Suivez les instructions pour configurer une nouvelle télécommande :

1. Choisissez "n" pour un new remote.
2. Name le poste distant (par exemple : "linode").
3. Pour storage typeSélectionnez "Amazon S3 Compliant Storage Providers" dans la liste des options.
4. Pour providerSélectionnez "Linode Object Storage" dans la liste des options.
5. Sélectionnez "Enter AWS credentials in the next step".
6. Pour access_key_id, collez la clé d'accès que vous avez copiée ci-dessus.
7. Pour secret_access_key, collez la clé secrète que vous avez copiée ci-dessus.
8. Sélectionnez la région pour votre Linode Object Storage bucket.
9. Choisissez les valeurs par défaut pour les questions restantes.

Pour les étapes détaillées, reportez-vous à la documentation rclone pour Linode Object Storage.

Une fois terminé, rclone aura accès à votre Linode Object Storage, prêt à synchroniser les fichiers de Google Drive.

Étape 5 : Synchronisation

Avec Google Drive et Linode Object Storage configurés en tant que remotes dans rclone, vous pouvez maintenant synchroniser les fichiers entre eux.

Pour notre démonstration, nous voulons synchroniser le contenu des données de notre Google Drive avec un dossier appelé data dans notre Linode Object Storage bucket.

Commençons par jeter un coup d'œil sur le contenu de notre dossier Google Drive :

Voici ce que nous voyons dans notre Linode Object Storage bucket :

Comme prévu, le dossier de données n'existe pas (encore).

Pour synchroniser nos fichiers, nous pouvons utiliser la commande de base suivante :

Cette commande copiera les fichiers de votre Google Drive (source) vers votre Linode Object Storage (destination).

Si nous voulions surveiller le processus de transfert, nous ajouterions l'option -progress :

Nous pouvons encore optimiser le processus de synchronisation en configurant le nombre de transferts simultanés à l'aide de l'option -transfers :

Lorsque notre synchronisation commence, nous voyons que rclone met constamment à jour les statuts de transfert :

Après la synchronisation initiale, nous pouvons réexécuter la commande pour nous assurer que tous les fichiers sont à jour. Rclone ne transfère que les fichiers nouveaux ou modifiés, ce qui accélère les synchronisations ultérieures.

Cette étape permet de s'assurer que vos fichiers sont transférés efficacement et synchronisés entre Google Drive et Linode Object Storage.

Conclusion

Dans ce billet, nous vous avons expliqué comment utiliser rclone pour transférer efficacement des fichiers de Google Drive vers Linode Object Storage. Bien que nous ayons spécifiquement utilisé Google Drive et Linode Object Storage pour notre démonstration, rclone prend en charge des dizaines de fournisseurs de stockage en nuage.

Pour résumer :

• Rclone vous permet d'effectuer des opérations de fichiers par lots directement entre les services en nuage.
• La mise en place d'une Linode VM dans la même région que votre Linode Object Storage peut optimiser vos transferts.
• La configuration de rclone avec Google Drive et Linode Object Storage remotes est simple et puissante.
• L'utilisation de la fonction de synchronisation de rclone permet de maintenir vos fichiers à jour sans intervention manuelle.

Prêt à rationaliser vos transferts de fichiers ? Essayez Linode Object Storage dès aujourd'hui et voyez à quel point la gestion de vos données sur le cloud peut être facile !