S3 Begrenzung auf Objekte in einem Eimer
Weiß jemand, ob die Anzahl der Objekte, die ich in einen S3-Bucket setzen kann, begrenzt ist? Kann ich eine Million, 10 Millionen usw. in einen einzigen Eimer geben?
Laut Amazon:
Schreiben, lesen und löschen Sie Objekte, die jeweils 1 Byte bis 5 Terabyte Daten enthalten. Die Anzahl der Objekte, die Sie speichern können, ist unbegrenzt.
Quelle: http://aws.Amazon.com/s3/details/ Stand vom 03.09.2015.
Es scheint, als hätte sich das Limit geändert. Sie können 5 TB für ein einzelnes Objekt speichern.
Das Gesamtvolumen der Daten und die Anzahl der Objekte, die Sie speichern können, ist unbegrenzt. Einzelne Amazon S3-Objekte können eine Größe von 1 Byte bis 5 Terabyte aufweisen. Das größte Objekt, das in einem einzelnen PUT hochgeladen werden kann, beträgt 5 Gigabyte. Für Objekte, die größer als 100 Megabyte sind, sollten Kunden die Multipart-Upload-Funktion in Betracht ziehen.
- Es gibt keine Begrenzung für Objekte pro Bereich.
- Es gibt ein Limit von 100 Buckets pro Konto (Sie müssen Amazon anfordern, wenn Sie mehr benötigen).
- Es gibt keinen Leistungsabfall, selbst wenn Sie Millionen von Objekten in einem -Eimer speichern.
Von docs,
Es gibt keine Begrenzung für die Anzahl der Objekte, die in einem .__ gespeichert werden können. Bucket und kein Unterschied in der Leistung, wenn Sie viele Buckets verwenden oder nur ein paar. Sie können alle Ihre Objekte in einem einzigen Bucket speichern, oder Sie können sie in mehreren Eimern organisieren.
Stand Aug 2016
Während Sie eine unbegrenzte Anzahl von Dateien/Objekten in einem einzelnen Bucket speichern können, erhalten Sie beim Auflisten eines "Verzeichnisses" in einem Bucket standardmäßig nur die ersten 1000 Dateien/Objekte in diesem Bucket. Um auf alle Dateien in einem großen "Verzeichnis" wie diesem zuzugreifen, müssen Sie ihre API mehrfach aufrufen.
"Sie können beliebig viele Objekte in einem Bucket speichern und Objekte in Ihren Bucket schreiben, Lesen und löschen. Objekte können eine Größe von bis zu 5 Terabytes haben."
von http://aws.Amazon.com/s3/details/ (Stand: 4. März 2015)
Es gibt keine Begrenzung für die Anzahl der Objekte, die Sie in Ihrem S3-Bucket speichern können. AWS gibt an, unbegrenzten Speicherplatz zu haben. Es gibt jedoch einige Einschränkungen -
- Standardmäßig können Kunden pro AWS-Konto bis zu 100 Buckets bereitstellen. Sie können jedoch den Amazon S3-Bucket-Grenzwert erhöhen, indem Sie AWS Service Limits besuchen.
- Ein Objekt kann 0 Byte bis 5 TB sein.
- Das größte Objekt, das in einem einzelnen PUT hochgeladen werden kann, beträgt 5 Gigabyte
- Für Objekte, die größer als 100 Megabyte sind, sollten Kunden die Multipart-Upload-Funktion in Betracht ziehen.
Das heißt, wenn Sie wirklich viele Objekte im S3-Bucket speichern möchten, sollten Sie das Präfix des Objektnamens randomisieren, um die Leistung zu verbessern.
Wenn Ihre Workload aus einer Mischung von Anforderungstypen besteht, fügen Sie den Schlüsselnamen eine zufällige Reihenfolge hinzu, indem Sie dem Schlüsselnamen eine Hash-Zeichenfolge als Präfix hinzufügen. Durch die Zufallsauswahl der Schlüsselnamen wird die E/A-Last auf mehrere Indexpartitionen verteilt. Sie können beispielsweise einen MD5-Hash der Zeichenfolge berechnen, die Sie als Schlüssel zuweisen möchten, und dem Schlüsselnamen 3 oder 4 Zeichen aus dem Hash als Präfix hinzufügen.
Weitere Details - https://aws.Amazon.com/premiumsupport/knowledge-center/s3-bucket-performance-improve/
- Stand Juni 2018