Upload-Erlaubnis muss nicht die Datei übertragen
Zwei Lastarten
Die API prüft Nutzer, nimmt Metadaten an und erlaubt Uploads. Dateiübertragung ist ein großer Byte-Fluss. 100 Dateien/s mit je 15 MB erfordern 1500 MB/s. Eine API überträgt hier nur 600 MB/s, obwohl die kleine Metadatenarbeit zu bewältigen ist.
Proxy oder direkter Weg
Beim Proxy-Entwurf sendet der Client Bytes über die API an den Objektspeicher. Dafür ist genügend API-Durchsatz nötig. Beim direkten Entwurf erteilt die API eine begrenzte Berechtigung; der Client überträgt Bytes direkt zum Speicher. Der Zugriff wird weiterhin geprüft, nur getrennt von der Übertragung. Signierte URLs gelten nicht als einmalig nutzbar.
Warum Dateien aufteilen
Kleine Teile sind leicht übertragbar, verursachen aber Verwaltungsaufwand. Große brauchen mehr Puffer. Hier bestimmt die Teilgröße eine angenommene Nutzrate des Speichers; pro Datenstrom wird ein Teil reserviert. Das dient dem Vergleich, nicht der Messung echten Browser-, API- oder S3-Speichers.
Zwei Architekturen vergleichen
Teste drei APIs mit Proxy und Speicher, dann eine API mit Direktberechtigung und demselben Speicher. Teile von 8–10 MB bieten die nötige Balance aus Tempo und Puffer. Beim direkten Weg gilt die Berechtigung höchstens 300 Sekunden. Virensuche, echte Konten, fortsetzbare Uploads und Cloud-Verkehrskosten liegen außerhalb des Modells.
Aufgabe
100 Dateien/s mit je 15 MB. Eine API überträgt 600 MB/s. Erstellen Sie Proxy- oder Direktupload zum Objektspeicher; Puffer höchstens 1200 MB, Direktupload-Berechtigung höchstens 300 s.
Alle Dateien sind 15 MB groß. Bei Direktberechtigung prüft die API nur Zugriff/Metadaten und schafft bis 200 Dateien/s; Bytes gehen direkt zum Objektspeicher. Proxying ist auf 600 MB/s je API begrenzt. Speicher-Durchsatz: 2000×chunk/(chunk+2) MB/s. Je parallelem Strom wird ein Chunk angenommen: eine Lernschätzung des Puffers, keine RAM-Messung.
- Füge Objektspeicher hinzu und wähle direkten oder Proxy-Pfad.
- Wähle API-Kapazität, Teilgröße und bei Bedarf die Berechtigungsdauer.
- Prüfe fertige Dateien, Puffer und Kosten; vergleiche den anderen Weg.