Wenn Sie eine große Anzahl von Dateien von einem entfernten Standort zu einem anderen verschieben müssen, insbesondere zwischen verschiedenen Cloud-Diensten, kann das Kopieren aller Dateien von der Quelle auf Ihren lokalen Rechner und das anschließende Hochladen auf den neuen Zielort ein Albtraum sein. Stellen Sie sich vor, Sie müssten ein Terabyte an Dateien verwalten. Haben Sie dafür den nötigen Speicherplatz auf Ihrem Rechner?
Glücklicherweise gibt es eine bessere Möglichkeit, dies zu tun: rclone. Rclone ist ein CLI Werkzeug, mit dem Sie Batch-Datei-Operationen direkt zwischen entfernten Standorten durchführen und sie effizient von der Quelle zum Ziel synchronisieren können.
In diesem Beitrag führen wir Sie durch die Verwendung von rclone, um Dateien von einem Cloud-Speicherlaufwerk auf Linode Object Storage zu kopieren und den Prozess so nahtlos wie möglich zu gestalten.
Was ist rclone?
Rclone ist ein Befehlszeilenprogramm, das Dateien auf einem Cloud-Speicher verwaltet. Es ist wie ein Schweizer Taschenmesser für Cloud-Speicher und erledigt Aufgaben wie das Synchronisieren, Kopieren und Verschieben von Dateien.
Wie funktioniert das?
Rclone richtet "Remotes" für jeden Cloud-Dienst ein, mit dem Sie interagieren möchten. Sobald diese konfiguriert sind, können Sie rclone-Befehle verwenden, um Daten zwischen ihnen zu übertragen. Obwohl die Dateien Ihren lokalen Rechner durchlaufen, werden sie dort nicht langfristig gespeichert.
Was kann man damit machen?
Mit rclone können Sie das:
- Synchronisieren Sie Dateien zwischen verschiedenen Cloud-Diensten.
- Dateien effizient kopieren und verschieben.
- Hängen Sie den Cloud-Speicher als Dateisystem auf Ihrem lokalen Rechner ein.
- Verschlüsseln Sie Dateien zur sicheren Speicherung.
Rclone unterstützt viele Cloud-Dienste, darunter Linode Object Storage, Google Drive, AWS S3 , Nextcloud, und mehr. Es ist ein vielseitiges Werkzeug für die Verwaltung Ihrer Cloud-Daten.
Nun, da wir wissen, was rclone kann, wollen wir demonstrieren, wie Sie es verwenden können, um Daten zwischen Google Drive und Linode Object Storage zu synchronisieren.
Schritt 1: Erstellen Sie eine Linode (optional, aber empfohlen)
Bei der Verwendung von rclone werden die Dateien von der entfernten Quelle auf Ihren lokalen Rechner übertragen, bevor sie an den entfernten Zielort verschoben werden. Diese Dateien werden zwar nicht lokal gespeichert, aber die Daten werden dennoch über Ihre Internetverbindung übertragen.
Um den Prozess zu optimieren und Ihr Heimnetzwerk zu entlasten, empfehlen wir, eine Linode-VM zu erstellen. Auf diese Weise verkürzen Sie den Weg der Datenübertragung.
Um Ihre Einrichtung zu optimieren, wählen Sie eine Linode in der gleichen Region wie Ihr Linode Object Storage Bucket.
Schritt 2: rclone installieren
Nachdem Sie Ihre Linode-VM eingerichtet haben, ist der nächste Schritt die Installation von rclone. Verwenden Sie zunächst SSH, um sich mit Ihrer Linode-Instanz zu verbinden. Vom Linode-Dashboard aus können Sie sich über die LISH-Konsole verbinden.
Führen Sie den folgenden Befehl aus, um rclone herunterzuladen und zu installieren:
~# curl https://rclone.org/install.sh | sudo bash |
Überprüfen Sie, ob rclone korrekt installiert ist, indem Sie folgendes ausführen:
~# rclone version |
Nachdem Sie bestätigt haben, dass die Installation erfolgreich war, können Sie rclone mit Ihren Cloud-Speicher-Remotes konfigurieren.
Schritt 3: Hinzufügen einer neuen Gegenstelle (Google Drive) zu rclone
Um mit der Übertragung von Dateien zu beginnen, müssen Sie rclone für den Zugriff auf Ihr Google Drive einrichten. Dazu müssen Sie Anmeldeinformationen erhalten. Folgen Sie diesen Anweisungen, um ein Dienstkonto zu erstellen und einen öffentlichen/privaten Schlüssel für Ihr Dienstkonto zu erhalten. Speichern Sie diese Datei auf Ihrem lokalen Rechner als service-account.json. Verwenden Sie dann SFTP, um diese Datei auf Ihre Linode-VM zu übertragen (da rclone sie referenzieren muss).
Mit der Schlüssel-Datei des Service-Kontos auf Ihrer Linode-VM verwenden Sie den folgenden Befehl, um das Google Drive-Remote in rclone zu konfigurieren:
~# rclone config |
Folgen Sie den Anweisungen, um eine neue Fernbedienung einzurichten:
- Wählen Sie "n" für eine
new remote. Nameder Fernbedienung (zum Beispiel: "gdrive").- Für
storage typewählen Sie "Google Drive" aus der Liste der Optionen. - Lassen Sie client_id und client_secret leer.
- Wählen Sie die entsprechende
scope. Für unsere Zwecke wählen wir "Nur-Lese-Zugriff auf Datei-Metadaten und -Inhalte". - Geben Sie für die Datei service_account den Pfad zu der JSON-Datei mit den Anmeldeinformationen für das Dienstkonto ein, die Sie oben heruntergeladen haben.
- Wählen Sie die Standardwerte für die verbleibenden Fragen.
Ausführlichere Schritte können Sie auch in der rclone-Dokumentation für Google Drive nachlesen.
Sobald dies abgeschlossen ist, hat rclone Zugriff auf Ihr Google Drive und kann mit Dateien arbeiten.
Schritt 4: Hinzufügen einer neuen Gegenstelle (Linode) zu rclone
Der nächste Schritt besteht darin, eine zweite Remote in rclone einzurichten, die auf Linode Object Storage zeigt. Genau wie im vorherigen Schritt müssen Sie Ihre Cloud-Speicher-Zugangsdaten abrufen.
Linode Object Storage Anmeldedaten sind ähnlich wie AWS S3 Anmeldedaten. Sie können Ihren Zugangsschlüssel und Ihren geheimen Schlüssel über den Linode Cloud Manager erhalten. Auf der Object Storage Seite, klicken Sie auf Create Access Key.
Nachdem Sie Ihren Zugangsschlüssel und Ihren geheimen Schlüssel erstellt haben, schreiben Sie sie ab.
Verwenden Sie den folgenden Befehl, um die Linode-Remote in rclone zu konfigurieren:
~# rclone version |
Folgen Sie den Anweisungen, um eine neue Fernbedienung einzurichten:
- Wählen Sie "n" für eine
new remote. Namedie Gegenstelle (zum Beispiel: "linode").- Für
storage typeWählen Sie "Amazon S3 Compliant Storage Providers" aus der Liste der Optionen. - Für
providerwählen Sie "Linode Object Storage" aus der Liste der Optionen. - Wählen Sie " AWS Zugangsdaten im nächsten Schritt eingeben".
- Als access_key_id fügen Sie den oben kopierten Zugangsschlüssel ein.
- Für secret_access_key fügen Sie den oben kopierten geheimen Schlüssel ein.
- Wählen Sie die Region für Ihren Linode Object Storage Bucket.
- Wählen Sie die Standardwerte für die verbleibenden Fragen.
Detaillierte Schritte finden Sie in der rclone-Dokumentation für Linode Object Storage.
Sobald dies abgeschlossen ist, hat rclone Zugriff auf Ihren Linode Object Storage, bereit für die Synchronisierung von Dateien aus Google Drive.
Schritt 5: Synchronisierung
Wenn sowohl Google Drive als auch Linode Object Storage als Remotes in rclone konfiguriert sind, können Sie jetzt Dateien zwischen ihnen synchronisieren.
Für unsere Demo wollen wir den Inhalt der Daten in unserem Google Drive mit einem Ordner namens data in unserem Linode Object Storage Bucket synchronisieren.
Schauen wir uns zunächst an, was sich in unserem Google Drive-Ordner befindet:
~# rclone size gdrive:/data |
Hier sehen wir, was wir in unserem Linode Object Storage Bucket sehen:
~# rclone size linode:/data |
Wie erwartet, existiert der Datenordner (noch) nicht.
Um unsere Dateien zu synchronisieren, können wir den folgenden einfachen Befehl verwenden:
~# rclone sync gdrive:/data linode:/data |
Dieser Befehl kopiert Dateien von Ihrem Google Drive (Quelle) zu Ihrem Linode Object Storage (Ziel).
Wenn wir den Übertragungsprozess überwachen wollten, würden wir das Flag -progress hinzufügen:
~# rclone sync \ gdrive:/data \ linode:/data \ --progress |
Wir können den Synchronisierungsprozess weiter optimieren, indem wir die Anzahl der gleichzeitigen Übertragungen mit dem Flag -transfers konfigurieren:
~# rclone sync \ gdrive:/data \ linode:/data \ --progress –transfers=8 |
Während die Synchronisierung beginnt, aktualisiert rclone ständig den Status der Übertragungen:
Transferred: 6.152 KiB / 145.195 KiB, 4%, 421 B/s, ETA 5m37s |
Nach der ersten Synchronisierung können wir den Befehl erneut ausführen, um sicherzustellen, dass alle Dateien auf dem neuesten Stand sind. Rclone überträgt nur neue oder geänderte Dateien, wodurch nachfolgende Synchronisierungen schneller erfolgen.
~# rclone sync gdrive:/data linode:/data --progress |
Dieser Schritt stellt sicher, dass Ihre Dateien effizient übertragen und zwischen Google Drive und Linode Object Storage synchronisiert werden.
Fazit
In diesem Beitrag haben wir Ihnen gezeigt, wie Sie mit rclone effizient Dateien von Google Drive auf Linode Object Storage übertragen können. Obwohl wir speziell Google Drive und Linode Object Storage für unsere Demo verwendet haben, unterstützt rclone Dutzende von Cloud-Speicheranbietern.
Um es kurz zu machen:
- Mit Rclone können Sie Batch-Dateioperationen direkt zwischen Cloud-Diensten durchführen.
- Wenn Sie eine Linode-VM in der gleichen Region wie Ihre Linode Object Storage einrichten, können Sie Ihre Übertragungen optimieren.
- Die Konfiguration von rclone mit Google Drive und Linode Object Storage remotes ist einfach und leistungsstark.
- Mit der Synchronisierungsfunktion von rclone können Sie Ihre Dateien ohne manuelle Eingriffe auf dem neuesten Stand halten.
Sind Sie bereit, Ihre Dateiübertragungen zu rationalisieren? Testen Sie Linode Object Storage noch heute und sehen Sie, wie einfach die Verwaltung Ihrer Cloud-Daten sein kann!
Kommentare