存储
数据迁移工具
线上数据同步
AWS Storage Gateway
一种服务,存储网关
数据在本地和云进行无缝的同步
支持三种协议
S3 File
FSx File
AWS DataSync
线下的迁移工具
大数据量的数据迁移(PB,EB的级别)
Snow Family
snowcone
sonwball
Amazon S3
持久性的对象存储解决方案,默认情况下,Amazon S3 中的数据以冗余方式存储在多个设施和每个设施中的多个设备中(11个9,丢失的概率非常小)
不同的可用区之间复制,高可用(4个9的可用性)
适合的场景
备份和还原
数据湖中的结构化和非结构化的数据(用户分析)
媒体存储与流式传输
静态网站托管
存储桶
存储桶放置了若干个对象
存储桶(全球唯一)
对象键(每一个对象一个url)
访问有一定的限制
存储同类型(每个对象可以定义存储类)
标准(毫秒级访问)
频繁访问:标准
不频繁访问:标准-IA(infrequent access,存储便宜,但是检索费用高)
S3 One Zone-IA(单区IA,不频繁,只在一个可用区,不做跨可用区的副本,成本低)
频繁的标准,如果一个月平均访问不到一次为不频繁访问,超过一次为频繁访问
归档类别的存储桶(Glacier系列)
几乎不太访问
及时检索,还原事件毫秒级(instant retrieval)
灵活检索,还原事件数分钟到数小时(flexible retrieval)
深度归档,还原最长到12个小时(deep archive)
Amazon S3 Intelligent-Tiering
对象智能的区分类别
刚开始放在标准桶类
如果30天没有被访问到,放到IA
如果90天还没有被访问,放到及时归档
动态归类,监控对象的访问(收取监控费用,费用不高)
生命周期策略
超过30天移动到标准IA
自动化实现
超过365天的对象的deep archive
设置时间策略
问题
生命周期策略和intelligent-tiering的关系
存储桶之间做复制
保护对象
保护对象
Amazon S3访问控制
存储桶策略(对数据的访问控制是基于策略的,如IAM策略,S3存储桶策略和AWS Organization服务控制策略(SCP)
json的访问策略语言编写存储桶策略
Amazon S3接入点
共享数据集的大规模数据访问管理
指定的网络终端节点,看用于执行S3对象操作
GetObject
PutObject
接入点附加在存储桶上
每个接入点都可以定义不同的权限和网络控制(如接入点配置为仅接受来自VPC的请求)
一名财务员工代入财务团队 IAM 角色,并向财务接入点发送 GetObject 请求。接入点策略允许该财务角色获取 doc-example-bucket 中具有前缀 /finance 和 /tax 的对象。对于 S3 存储桶中具有销售和营销前缀的对象或任何其他对象,该财务角色没有访问权限。S3 存储桶策略允许财务接入点访问您的存储桶。
其他s3功能
其他s3功能
分段上传
加快上传速度
某段可以重复上传
超过100M,启动分段上传
不能在控制台里操作,需要在cli下通过命令行的方式进行操作
加速上传(transfer acceleration)
客户端先到边缘站点再到s3存储同(边缘站点到s3存储同通过骨干网加速传输)
事件通知
桶里上传一个对象
桶触发通知给lambda处理(事件通知)
lambda和另外桶关联存储结果
共享文件系统
ebs附件到一个实例
对象存储
EFS(Elastic File System)
无服务器服务
云中的nas
网络接口,挂载目标,ENI(弹性网络接口)
可以跨可用区
FSx
Windwos File Server
数据迁移工具
本地数据中心和云之间数据同步
线上工具
Storage Gateway
Amazon S3 File Gateway
Amazon FSx File Gateway
AWS DataSync
线下迁移工具
AWS Snowcone
Snowball Edge(存储量大)