存储

数据迁移工具

线上数据同步

AWS Storage Gateway

  • 一种服务,存储网关

  • 数据在本地和云进行无缝的同步

  • 支持三种协议

    • S3 File

    • FSx File

alt text

AWS DataSync

alt text

线下的迁移工具

  • 大数据量的数据迁移(PB,EB的级别)

  • Snow Family

    • snowcone

    • sonwball

Amazon S3

  • 持久性的对象存储解决方案,默认情况下,Amazon S3 中的数据以冗余方式存储在多个设施和每个设施中的多个设备中(11个9,丢失的概率非常小)

  • 不同的可用区之间复制,高可用(4个9的可用性)

  • 适合的场景

    • 备份和还原

    • 数据湖中的结构化和非结构化的数据(用户分析)

    • 媒体存储与流式传输

    • 静态网站托管

alt text

存储桶

  • 存储桶放置了若干个对象

    • 存储桶(全球唯一)

    • 对象键(每一个对象一个url)

    • 访问有一定的限制

    • 存储同类型(每个对象可以定义存储类)

      • 标准(毫秒级访问)

        • 频繁访问:标准

        • 不频繁访问:标准-IA(infrequent access,存储便宜,但是检索费用高)

        • S3 One Zone-IA(单区IA,不频繁,只在一个可用区,不做跨可用区的副本,成本低)

        • 频繁的标准,如果一个月平均访问不到一次为不频繁访问,超过一次为频繁访问

      • 归档类别的存储桶(Glacier系列)

        • 几乎不太访问

        • 及时检索,还原事件毫秒级(instant retrieval)

        • 灵活检索,还原事件数分钟到数小时(flexible retrieval)

        • 深度归档,还原最长到12个小时(deep archive)

      • Amazon S3 Intelligent-Tiering

        • 对象智能的区分类别

          • 刚开始放在标准桶类

          • 如果30天没有被访问到,放到IA

          • 如果90天还没有被访问,放到及时归档

          • 动态归类,监控对象的访问(收取监控费用,费用不高)

      • 生命周期策略

        • 超过30天移动到标准IA

        • 自动化实现

        • 超过365天的对象的deep archive

        • 设置时间策略

      • 问题

        • 生命周期策略和intelligent-tiering的关系

      • 存储桶之间做复制

1732930883439

1732931885300

保护对象

  • 保护对象

    • Amazon S3访问控制

      • 存储桶策略(对数据的访问控制是基于策略的,如IAM策略,S3存储桶策略和AWS Organization服务控制策略(SCP)

      • json的访问策略语言编写存储桶策略

    • Amazon S3接入点

      • 共享数据集的大规模数据访问管理

      • 指定的网络终端节点,看用于执行S3对象操作

        • GetObject

        • PutObject

      • 接入点附加在存储桶上

      • 每个接入点都可以定义不同的权限和网络控制(如接入点配置为仅接受来自VPC的请求)

      • 一名财务员工代入财务团队 IAM 角色,并向财务接入点发送 GetObject 请求。接入点策略允许该财务角色获取 doc-example-bucket 中具有前缀 /finance 和 /tax 的对象。对于 S3 存储桶中具有销售和营销前缀的对象或任何其他对象,该财务角色没有访问权限。S3 存储桶策略允许财务接入点访问您的存储桶。

1732883467037

其他s3功能

  • 其他s3功能

    • 分段上传

      • 加快上传速度

      • 某段可以重复上传

      • 超过100M,启动分段上传

      • 不能在控制台里操作,需要在cli下通过命令行的方式进行操作

    • 加速上传(transfer acceleration)

      • 客户端先到边缘站点再到s3存储同(边缘站点到s3存储同通过骨干网加速传输)

    • 事件通知

      • 桶里上传一个对象

      • 桶触发通知给lambda处理(事件通知)

      • lambda和另外桶关联存储结果

共享文件系统

  • ebs附件到一个实例

  • 对象存储

EFS(Elastic File System)

  • 无服务器服务

  • 云中的nas

  • 网络接口,挂载目标,ENI(弹性网络接口)

  • 可以跨可用区

FSx

  • Windwos File Server 1732933173789

数据迁移工具

  • 本地数据中心和云之间数据同步

1732945091064

线上工具

Storage Gateway

  • Amazon S3 File Gateway

  • Amazon FSx File Gateway

1732945331463

AWS DataSync

1732945444428

线下迁移工具

  • AWS Snowcone

  • Snowball Edge(存储量大)

1732945484611