Wie ein Kunde die Kosten durch die Migration von EFS auf Object Storage

Beim Cloud Computing ist der Umgang mit der Skalierung sowohl ein Ziel als auch eine Herausforderung. Dies gilt vor allem für Unternehmen, die Software- oder Firmware-Updates over the air (OTA) verteilen müssen. Die Herausforderung besteht hier in der Verwaltung des Volumens - es muss sichergestellt werden, dass Uploads und Downloads sicher, effizient und rechtzeitig erfolgen. Ein übliches Setup für so etwas ist ein virtuelles Dateisystem auf einem privaten Cloud-Server mit einem CDN, um die Software weltweit zu verteilen. Dies ist zwar eine gute Lösung, auf die sich viele Unternehmen bei der Skalierung ihrer Verteilung verlassen haben, aber wie lässt sich ein Gleichgewicht zwischen dieser Lösung und der Reduzierung der Kosten herstellen? Dies ist nicht nur ein hypothetisches Szenario. Viele Unternehmen stehen vor ähnlichen Herausforderungen, darunter auch einer unserer Kunden aus der Elektronikbranche, der Firmware-Updates OTA an Millionen von Smart-TVs auf der ganzen Welt verteilen musste.

Bei der Verbreitung von Software dieser Art steht viel auf dem Spiel. Bei diesen Updates kann es sich um neue Funktionen, Verbesserungen der Benutzeroberfläche, Sicherheitspatches oder Leistungsverbesserungen handeln. Ein Unternehmen, das OTA-Updates durchführt, muss sicherstellen, dass die Lösung die Last effizient und ohne zusätzliche Kosten oder Aufwand bewältigen kann, wenn Zehntausende von Kunden ihre Fernsehgeräte gleichzeitig aktualisieren. Dies ist keine einzigartige Herausforderung. Tausende von Unternehmen nutzen OTA für ihre Produkte und Software.

Im Fall unseres Kunden nutzte der Hersteller zunächst mehrere verschiedene Dienste, um dies zu bewerkstelligen: Akamai's Content Delivery Network (CDN) für die globale Verteilung, AWS's Elastic Compute Cloud (EC2) für die Rechenleistung, Elastic Load Balancer für den eingehenden Datenverkehr und Elastic File System (EFS) für die Speicherung und Verwaltung der Firmware-Dateien. Dieses Setup wurde für die Verarbeitung riesiger Datenmengen in der ganzen Welt entwickelt. Allerdings war es auch mit einem hohen Preis verbunden, insbesondere bei den Egress-Kosten.

AWSEFS war ein integraler Bestandteil der Betriebsabläufe des Herstellers, der es ihm ermöglichte, Betriebssystem- und Firmware-Updates zentral zu speichern und zu verwalten sowie sie durch die Integration mit EC2 und dem Elastic Load Balancer effizient weltweit zu verteilen. Die mit EFS verbundenen Kosten, insbesondere bei umfangreichen Datenübertragungen außerhalb der Netzwerke von AWS, wurden jedoch zunehmend zu einem Problem.

Die steigenden Kosten im Zusammenhang mit EFS - insbesondere die Egress-Gebühren für die Übertragung von AWS- veranlassten den Hersteller zu einer Neubewertung des Speicher- und Verteilungssystems für seine Smart-TV-Updates. Dies war ein entscheidender Moment in der Strategie des Herstellers, die Kosten zu kontrollieren und gleichzeitig sein robustes globales Verteilungssystem beizubehalten, indem er von EFS zu Linode Object Storage wechselte.

Lösung

Object Storage Kostengünstiger zu sein, war nicht genug, um diesen Kunden zu überzeugen, von EFS zu migrieren. Es musste sich auch nahtlos in den bestehenden Arbeitsablauf integrieren lassen. Dies gelang mit Hilfe des Akamai-Supportteams und einiger Open-Source-Tools.

Im Rahmen ihrer Architektur haben sie einen primären Object Storage Bucket in der Region Asien-Pazifik und Japan und einen zweiten Bucket in den Vereinigten Staaten als Backup eingerichtet. Diese Redundanz verhindert Datenverluste und stellt sicher, dass die Verfügbarkeit von Firmware-Updates auch dann konstant bleibt, wenn der primäre Speicher-Bucket ausfällt. Die beiden Buckets werden mit rclone synchronisiert, einem Open-Source-Dienstprogramm, das für seine Effizienz bei der Dateiübertragung und -synchronisation bekannt ist. Mit diesem Tool konnte sichergestellt werden, dass beide Buckets als zuverlässige Ursprungsserver für das CDN dienen können.

Die Umstellung stellte eine große technische Herausforderung dar: Die bestehende Speicherlösung (EFS) sollte durch ein neues Speicherprotokoll (Object Storage) ersetzt werden, ohne den Arbeitsablauf zu unterbrechen. EFS und Object Storage unterscheiden sich grundlegend in ihrer Architektur und Funktionalität. EFS bietet eine Dateisystemschnittstelle und -semantik, die für viele Anwendungen, die ein herkömmliches Dateisystem erfordern, unerlässlich sind. Im Gegensatz dazu erfolgt der Zugriff auf Object Storage über eine Web-API, die von Haus aus keine Dateisystemoperationen unterstützt. Daher können Sie EFS nicht einfach gegen Object Storage austauschen.

Um dieses Problem zu lösen, nutzten wir S3FS, ein Open-Source-Tool, das eine Dateisystemschnittstelle auf der S3 API simuliert. Mit S3FS konnten wir die Object Storage Buckets in die bestehenden EC2-Instanzen des Herstellers "einhängen", so dass es sich wie EFS verhält. Dieser Ansatz ermöglichte es den bestehenden Anwendungen und Prozessen, mit Object Storage wie mit einem herkömmlichen Dateisystem zu interagieren, wodurch die erforderlichen Änderungen im Anwendungscode minimiert und das Fehlerrisiko während des Übergangs verringert wurden.

Diese Architektur (siehe oben) rationalisiert nicht nur den Prozess der Softwareaktualisierung für Millionen von Geräten auf der ganzen Welt, sondern führt auch zu erheblichen Kosteneinsparungen. Durch die Umstellung von AWS's Elastic File System (EFS) auf Object Storage konnte das Unternehmen die Speicherkosten drastisch senken, wobei sich Object Storage als mehr als 15 Mal günstiger pro GB als EFS erwies. Auch die Egress-Kosten konnten um 90 % gesenkt werden, was eine erhebliche Verbesserung gegenüber der vorherigen Umgebung AWS darstellt. Diese Einsparungen verdeutlichen die Effektivität der neuen Speicherlösung im Hinblick auf die betriebliche Effizienz und die Kosteneffizienz.

Dabei handelte es sich nicht nur um ein technisches Upgrade, sondern um eine Neuausrichtung auf die Ziele des Herstellers hinsichtlich Effizienz, Skalierbarkeit und Kostenmanagement. Durch die Einführung von Object Storage und die reibungslose Integration (mit Hilfe von Tools wie rclone und S3FS) konnte der Hersteller seine Betriebskosten erheblich senken, ohne Kompromisse bei der Zuverlässigkeit oder Geschwindigkeit der globalen Firmware-Verteilung einzugehen. Diese Fallstudie zeigt, wie sich Entscheidungen über die Einführung von Technologien erheblich auf das Endergebnis eines Unternehmens auswirken können.

Kritische Analyse der Kostenwirksamkeit

Wenn man den Wechsel von AWS zu Linode über Akamai betrachtet, erscheint die Entscheidung zunächst als klarer Gewinn an Kosteneinsparungen. Ein genauerer Blick auf die Kostenstrukturen und den Produktvergleich offenbart jedoch einige Nuancen. Hier sind einige wichtige Entscheidungspunkte, die Sie im Auge behalten sollten:

1. AWS S3 vs. Linode Object Storage: Die ursprüngliche Architektur leitete einen beträchtlichen Teil des Egress-Verkehrs über den Elastic Load Balancer an das Akamai CDN weiter. Angesichts dieser Struktur erwies sich die Verwendung von Object Storage aufgrund der deutlich niedrigeren Egress-Kosten als kostengünstiger als AWS S3 . In Verbindung mit AWS Cloudfront könnten die Egress-Kosten für die Objektspeicherung jedoch bei Null liegen.
2. AWS Cloudfront vs. Akamai CDN: Die Entscheidung für Akamai und gegen AWS Cloudfront wurde durch die Notwendigkeit beeinflusst, Architekturänderungen zu minimieren. Das Unternehmen schätzte die bewährte Leistung, Zuverlässigkeit und den Support von Akamai sowie die Flexibilität, die sich durch die Nutzung mehrerer Cloud-Anbieter ergibt.

Um die finanziellen Auswirkungen zu quantifizieren, betrachten wir ein hypothetisches Szenario, in dem ein Kunde monatlich 50 TB an gespeicherten Daten mit 100 TB an ausgehenden Übertragungen verwaltet. Im Folgenden finden Sie eine vereinfachte Kostenaufschlüsselung für AWS EFS, AWS S3 und Linode Object Storage:

(Hinweis: Ganzheitliche Preisvergleiche sind schwierig. Hier werden nur die Speicher- und Bandbreitenkosten für die Dateispeicherung berücksichtigt, nicht aber das CDN. Es ist auch erwähnenswert, dass einige Anbieter günstigere Tarife für Kunden mit außergewöhnlich hohem Volumen anbieten).

Schauen wir uns nun die vergleichbaren Kosten für die Speicherung und den Ausgang für diese Cloud-Dienste an (Hinweis: Die Preise basieren auf den Kosten zum Zeitpunkt der Erstellung dieses Artikels).

In dieser Analyse ist die Verwendung von Object Storage etwa 1/15 der Kosten der ursprünglichen Lösung mit AWS EFS und etwa 1/7 der Kosten der Verwendung von AWS S3 (unter der Annahme, dass AWS Cloudfront nicht zum Ausgleich von Egress-Gebühren verwendet wird).

Fazit

Dieser Kostenvergleich verdeutlicht die erheblichen Einsparungen, die durch den Wechsel zu Linode Object Storage erzielt werden. Er verdeutlicht auch, wie wichtig es ist, Cloud-Lösungen auf die spezifischen Datenverkehrsmuster und Content Delivery Network (CDN)-Anforderungen eines Unternehmens abzustimmen. Wenn Unternehmen ihre Datennutzungs- und -verteilungsstrategien analysieren, können sie erhebliche Kosteneinsparungsmöglichkeiten aufdecken, die andernfalls vielleicht übersehen würden.

Die Entscheidung, die Speicherlösung zu wechseln, wurde nicht leichtfertig getroffen, sondern basierte auf einer detaillierten Bewertung der betrieblichen Anforderungen und finanziellen Ziele des Unternehmens. Durch die Kenntnis des zu verwaltenden Datenvolumens, der Häufigkeit des Datenzugriffs und der geografischen Verteilung der Nutzer konnte das Unternehmen Linode als die kostengünstigste Lösung identifizieren, die auch seine Anforderungen erfüllte. Diese Art von fundierter Entscheidungsfindung ist bei Cloud-Architekturen von entscheidender Bedeutung, da die Kosten je nach Speichertyp, Datentransfervolumen und Zugriffshäufigkeit drastisch variieren können.

Während Programmierer und Architekten sich auf die Leistung und Skalierbarkeit einer Lösung konzentrieren sollten, müssen sie auch die finanziellen Auswirkungen auf die Unternehmen berücksichtigen, für die sie arbeiten. Lösungen müssen nicht nur die technischen Anforderungen erfüllen, sondern auch mit den breiteren Finanzstrategien eines Unternehmens in Einklang stehen. Auf diese Weise können Budgetüberschreitungen vermieden und sichergestellt werden, dass IT-Investitionen den größtmöglichen Nutzen bringen.

Wir helfen Unternehmen ständig dabei, Lösungen wie diese zu entwickeln. Wenn Sie mehr darüber erfahren möchten, wie Sie dies selbst implementieren können, melden Sie sich für unseren Newsletter an, verbinden Sie sich mit uns auf Twitter oder LinkedIn, oder abonnieren Sie unseren YouTube-Kanal. Zusätzlich zu diesen technischen Anleitungen können Sie die Lösungen von Linode testen, wenn Sie oder Ihr Unternehmen die Optimierung seiner Cloud-Speicher- und CDN-Lösungen in Erwägung ziehen, indem Sie sich anmelden und 100 $ an kostenlosen Credits erhalten.