上传授权不必传输文件本身
两类负载
API 检查用户、接收元数据并决定是否允许上传。文件传输是大量字节流。100 文件/秒、每个15 MB 需要1500 MB/秒。本模型中一台 API 只能传输600 MB/秒,虽然它足以处理较小的元数据工作。
代理转发还是直接路径
代理方案中,客户端通过API将字节发送到对象存储,需要足够的API吞吐量。直传方案中,API发放有限授权,客户端直接向存储传输字节。访问仍会检查,只是检查与传输分离。签名URL并未被定义为一次性使用。
为何将文件分块
小分块便于传输,但有额外协议开销;大分块需要更多缓冲。在实验中,块大小决定估算的存储有效速率,每条流预留一个分块。这用于方案比较,并非浏览器、API 或 S3 真实内存测量。
比较两种架构
尝试三个API代理上传到存储,再尝试一个API发放直传授权并使用相同存储。8–10 MB的分块可平衡速度和缓冲区。直传路径的授权有效期上限为300秒。病毒扫描、真实账户、断点续传和云流量成本不在此模型范围内。
任务
100 文件/秒,每个15 MB。一台 API 传输600 MB/秒。构建代理上传或直传至对象存储;缓冲区不超过1200 MB,直传授权有效期不超过300秒。
所有文件大小为15 MB。直传授权模式下,API 仅检查权限和元数据,容量可达200 文件/秒;字节直接发送至对象存储。代理模式下每台 API 限制为600 MB/秒。存储吞吐量假定为 2000×chunk/(chunk+2) MB/秒。每个并行流假定预留一个 chunk;这是教学缓冲估计,并非实际 RAM 测量。
- 添加对象存储,选择直传或代理路径。
- 选择API容量、分块大小及所需授权期限。
- 检查已完成文件、缓冲区和成本,并比较另一条路径。