传统存储在以各种方式对接公有云生态,公有云的云上服务类型也在不断完善,作为企业信息化负责人要做的是更多地了解公有云,然后,考虑如何充分利用公有云的优势。
本文通过介绍亚马逊云 科技 存储服务的三个关键点,带您认识云存储的现状。

正文:
乘着互联网产业的春风,云存储在过去近二十年走过了可遇不可求的发展历程。也让从90年代开始,就一直坐着冷板凳,负责数据归档的对象存储,一跃成为整个互联网数据的基石。
如今,绝大部分互联网上可访问的数据都靠对象存储来存,偶尔曝出的数据泄露事件也大多都跟对象存储有关,当然,问题不在于对象存储本身。
从2006年,亚马逊云 科技 的对象存储服务Amazon S3发布,到现在,算起来也有十六年的时间了,这也是亚马逊云 科技 推出的第一款云服务。
从市场表现来看,Amazon S3是非常成功的,前两年有人推测说,亚马逊云 科技 在存储方面的营收规模非常大,甚至被称作是全球最大的存储公司,Amazon S3无疑是功劳最大的一个。
有人说,许多亚马逊云 科技 用户使用的第一个产品就是Amazon S3对象存储,在所有亚马逊云 科技 的用户案例,在所有技术文档里,Amazon S3的出镜率都非常高。
云上原生存储Amazon S3的主线任务:不断降低成本
如果亚马逊云 科技 的用户没用过Amazon S3,就好比去包子铺吃饭没点包子,光顾烧烤店没吃烤串一样,令人费解。
Amazon S3的易用性高、可用性高,开发者很喜欢,Amazon S3几乎不丢数据的可靠性,稳定性也很高,运维管理人员很喜欢,Amazon S3在互联网应用场景被普遍应用。
如今,Amazon S3上存着超过100万亿个对象,每秒需要处理上千百万次请求。
Amazon S3一开始解决了可靠性和可用性以及安全方面的基本问题,性能也一直在提升,多年看下来,最大的工作重点就是不断降低成本。
亚马逊云 科技 大中华区产品部总经理 陈晓建介绍称,同样存储一份数据,如果2006年需要100块钱,而在2022年就只需要大概15块钱,16年间,Amazon S3的存储成本降低了大约7倍。
2021年12月,亚马逊云 科技 宣布在全球九大区域,将Amazon S3 Standard In Frequent Access和Amazon S3 One Zone In Frequent Access的价格降低了31%。
Amazon S3存储分了八个层级。
对于需要经常访问的数据,首选标准版的Amazon S3,它具有毫秒级的访问表现,而不太经常访问的数据就选Amazon S3 Standard-IA上,相较于前者能节省大概40%的费用。
而对于那些很少访问的数据,则可以选择放在Amazon S3 Glacier DeepArcihve上,它的成本非常低,大约1美刀1个TB,但代价是,想把数据拿回来就得多等等,大概需要12到48个小时。
有人觉得这等的时间也太长了,于是,亚马逊云 科技 又推出了Amazon S3 Glacier Flexible Retrieval,只需要等上几分钟到几小时。
就没有一种,既可以便宜,访问性能又高的存储吗?还真有。
这就是Amazon S3 Glacier Instant Retrieval,它是最新的一个存储层级,拿回数据的速度是毫秒级的,成本与Amazon S3 Glacier相当,适合每季度才访问一次、又需要毫秒级取回的海量数据。
另外,Amazon S3 One Zone-IA的成本也很低,顾名思义,数据只存在单个可用区上,而其他S3存储的数据都在多个可用区上存着好几分,相比之下,理论上丢数据的风险高了些。
最后,出于合规的要求,用户有些数据不能上云,亚马逊云 科技 可以提供Amazon Outposts,把云的硬件放到了用户的数据中心里。使用Amazon S3 on Outposts,就像在云上使用S3一样。
总的来说,Amazon S3的存储层级还是挺多的,但问题是,这给选型和管理也带来了负担。
为此,亚马逊云 科技 推出了Amazon S3 Intelligent-Tiering(智能分层),它会根据对象被访问的次数在多个存储层级间进行自动化迁移。
如果不能确定要选什么或者存储需求会变,那就选它,它不仅能解除选择困难症,还能避免用户自行管理数据分层的麻烦。
一家在东南亚和北美市场非常有影响力的互联网公司,在亚马逊云 科技 上存放了大约几十PB的数据,原本主要使用的是Amazon S3 Standard—IA,在使用Amazon S3智能分层后,没有进行任何额外操作,就将存储成本降低了62%。
亚马逊云 科技 最早在2018年就推出了Amazon S3智能分层功能,如今,Amazon S3智能分层已经涵盖了Amazon S3家族的几乎所有存储类别,最多可节省68%的成本。
不仅如此,如今数据分层还拓展到文件存储Amazon EFS,Amazon EFS提供四种文件存储等级,数据分层能节省高达72%的存储成本。
打通云应用与传统应用的隔阂:靠多种文件存储
如果说,对象存储是云存储的标配的话,那文件存储就是云存储连接本地存储的桥梁。
如今常见的应用分为两类。
一类是云原生的现代化应用,也就是在云上开发的、充分利用云架构优势的应用,比如电商、 游戏 、社交媒体等平台。对应需要的存储,大部分是对象存储Amazon S3来满足,少部分需要文件存储Amazon EFS。
另一类是传统企业应用,它诞生在公有云之前,常见的有高性能计算、EDA、视频渲染等场景,通常由本地的文件存储系统,比如NAS来支撑的,为提升安全性和可靠性,通常都带有快照、镜像、远程复制等功能特性。
这类工作负载并没有根据云架构的特点来设计,如果强行上云,不仅需要调整应用本身,而且还可能出现兼容性的问题,为了避免此类问题,亚马逊云 科技 推出了FSx文件存储家族。
从2018年开始,陆续推出了面向Windows环境的Amazon FSx for Windows,面向高性能计算场景的Amazon FSx for Lustre,面向大数据分析场景推出了Amazon FSx for OpenZFS。
金风慧能采用了亚马逊云 科技 构建HPC高性能计算系统,其中使用了Amazon FSx for Lustre共享存储系统,不仅使气象预测系统性能提升了10%,气象计算时间缩短了1/3,还将成本降低了70%,运维复杂度也大大降低。
此外,还与知名存储厂商NetApp合作推出了Amazon FSx for NetApp ONTAP,把NetApp的经典NAS文件存储系统NetApp ONTAP放到了公有云上。
NetApp在2015年就提出了Data Fabric的概念,大意就是想要实现数据在云上和云下的自由流动,是比较早积极拥抱混合云的存储厂商之一。
与一些存储厂商的云上托管服务不同,Amazon FSx for NetApp ONTAP没有删减任何功能,它是云上唯一完整且全托管的NetApp ONTAP文件存储系统,能够无缝地跟企业本地的ONTAP系统对接,所以,用户的IT系统不需要做任何改动,就能使用云上服务。
2019年,NetApp与联想成立合资公司——联想凌拓,联想凌拓在中国区提供相关服务,联想凌拓产品管理与营销高级总监林佑声表示,从发布到现在,Amazon FSx for NetApp ONTAP得到了非常多客户的认可,包括金融、医疗、石油以及高 科技 行业客户。
嘉里物流原本是本地存储NetApp ONTAP的用户,随着业务全球化发展,在数据扩容以及数据共享方面碰到的问题越来越多,通过使用亚马逊云 科技 提供的Amazon FSx for NetApp ONTAP,将数据从本地迁到云上,解决了这些问题。

上云之后,不仅可以使用原来NetApp ONTAP自带的快照和备份等功能,同时,还可以使用亚马逊云 科技 遍布全球的数据中心,实现跨区域的灾备。
补足数据保护方面的短板:Amazon Backup
一直以来,云存储被诟病的点还在于缺少数据灾备功能,在如何维持业务连续性方面有一些争议,而亚马逊云 科技 正在试着消除这一顾虑,这就是Amazon Backup。
由于缺少与业务价值的强关联性,数据保护经常容易被忽视,同时,由于数据保护系统本身很复杂,合规的要求还特别多,实践起来也特别麻烦,所以,数据保护的实践相对落后。
可能也是基于这样的考虑,亚马逊云 科技 的数据保护服务Amazon Backup才特别喜欢强调“一站式”“操作简单”的特点,让用户知道,数据保护也没有那么麻烦。
于是我们看到,Amazon Backup能覆盖旗下的几乎所有存储产品,包括块存储(Amazon EBS)、对象存储、文件存储、数据库,以及计算和存储网关等相关产品。
Amazon Backup的操作比较简单,通过图形的界面即可完成大部分操作,用户还可以通过预设的策略进行自动化的备份,降低手动备份带来的问题。
安全合规的问题让许多用户头疼,Amazon Backup深度集成了亚马逊云 科技 自带的KMS数据加密服务,整个备份操作权限、数据访问权限都可以用IAM进行细颗粒度监控,满足个人信息安全规范、信息安全等级保护等方面的合规要求。
Amazon Backup避免让数据保护带来太多的成本负担,因此也用上了智能分层技术,用户通过冷热分层策略可以有效降低约75%的成本。
澳大利亚石油天然气的供应商Santos要对Amazon EBS块存储做备份,原本都是用手动备份的方案,但随着业务量的发展,备份的出错率越来越高,成功率越来越低。
而在用了Amazon Backup后,平均备份任务用时和运营成本均有大幅降低,备份成功率到了100%,而且还完全做到企业数据合规。
结束语
确实如陈晓建所言,亚马逊云 科技 存储服务已经成为IT行业的“水”和“电”,让各行各业的业务都能从存储服务中获得价值。
亚马逊云 科技 的存储服务类型和存储的相关实践都非常有代表性,而且,很多做法已经成了上云的参考实践,企业用户应该多少了解亚马逊云 科技 的云存储,特别是有上云打算的企业。
当然,上云带来的便捷和灵活,稳定性和安全性,以及对运维的解放都很吸引人。
还有顾虑?据我个人了解,亚马逊云 科技 非常在意企业在云上的成功和成本节省,不仅会帮企业不断优化。除此之外,市场上有一些专门的服务,帮助企业做规划实施,让你充分利用云的优势。
亚马逊云科技防火墙管理系统的优势是什么?
前段时间研究物联网,我发现亚马逊云科技的物联网技术还挺厉害的。Amazon IoT Analytics是一项完全托管的服务初心,它可以轻松地运行和实施大量IoT数据的复杂分析,而不必担心构建IoT分析平台通常所需的成本和复杂性。我印象比较深的案例是,可以使用这项服务更好地预测相关货运车辆上的加热和冷却系统何时会出现故障,并进行相应的维修,以防止装运损失。
亚马逊云计算平台AWS的Glacier和S3有什么区别
在安全与数据稳私保护方面,亚马逊云科技一直秉承客户拥有和控制数据的理念,由客户来控制自己的数据,并且提供复杂的技术和物理措施来防止未经授权的访问。此外,亚马逊云科技还坚持安全责任共担,亚马逊云科技负责主机操作系统、虚拟化层、物理基础设施的安全,客户负责上层操作系统以及相关应用程序的安全,负责配置亚马逊云科技提供的安全组防火墙,通过安全责任共担,集合多方面的力量,共同应对云安全威胁。亚马逊云科技的云安全五大优势可以帮助用户有效应对愈加复杂且严峻的云安全挑战。
(一)打造云端深度可视化和控制力,实现扩展安全
在每一个IT环境内,可视化是确保安全性的关键所在。亚马逊云科技用户可以控制数据的存储位置、有权访问用户在任何给定时刻消耗的资源。如每一位亚马逊云科技用户都有一个用于确保亚马逊云科技账户安全性的秘密访问密钥和访问密钥ID,使用一个亚马逊云科技安全令牌服务就可以向一个账号授予临时访问权限。另外,亚马逊云科技身份和访问管理服务还提供了基于角色的访问,用户和应用程序都被赋予了预定义的角色,非常有助于控制对特定资源和应用程序的访问。
亚马逊云科技还提供多元的身份验证选项,还可实现合规性检查的自动化,可以捕获资源的当前状态和跟踪变更,然后向用户警告那些不符合亚马逊云科技安全性最佳实践的变更。通过使用安全自动化和活动监控服务,来检测整个生态系统中的可疑安全事件,从而实现扩展安全。
(二)通过深度集成的服务实现自动化并降低风险
众所周知,云端自动化部署服务一直深受用户欢迎,创建一个自动化和可重复的部署流程能够提升业务配置效率,并且有效地扩展和升级。执行安全任务的流程也是如此,实现自动化可以通过减少人工配置错误,将工作人员从日常繁琐的工作和加班中解放出来,从而有更多的精力和时间投入到安全业务的创新之中。亚马逊云科技为各种应用场景提供了不同的解决方案,针对的应用场景不同,这些服务的关注点也不同。用户可以从各种深度集成的解决方案中进行选择然后重新组合,让其以新颖的方式自动执行任务,从而加强安全团队与其他团队密切合作,以便更高效安全地完成工作。
以机器学习为例,在传统的机器学习中,用户通过自己搭建模型训练数据需要耗费大量的时间成本和人力成本,而通过亚马逊云科技控制台,开发人员只需要将训练所需的数据上传,便能自动以几十种不同的训练模型建立机器学习任务自动训练,还可以自动连续地发现、分类和保护亚马逊云科技中的敏感数据,并给出可视化结果,节省了大量的开发成本,并且迅速提升了数据保护能力。
(三)以最高的隐私和数据安全标准进行构建
数据不仅是数字经济的关键要素,也是信息时代重要的生产要素,数据安全更是被上升为与国家安全同等重要的地位。对于企业而言,数据安全也是其持续发展的基础。大量企业的数据存在云端,数据安全面临着十分严峻的挑战。亚马逊云科技针对用户对数据安全的担忧,组建了一支世界一流的安全专家团队,并构建了全天候监控系统。此外,亚马逊云科技还拥有全球云基础设施,这个高安全性、高扩展性和高可靠性的云平台可提供来自全球数据中心的175 多种功能全面的服务,用户可以在平台上加密、移动以及管理保留自己的数据。另外,在数据中心和区域互连的亚马逊云科技全球网络中,所有的数据流动在离开亚马逊云科技的安全设施之前,都经过物理层自动加密。
另外,亚马逊云科技全球基础设施可以让用户完全控制数据实际所在的区域。比如亚马逊云科技将物理数据中心分为多个逻辑单元,这些逻辑单元称为“可用区”,把可用区想象成一个逻辑数据中心。数据中心通过完全冗余的专用低延迟连接相互连接,然后把多个可用区域组成一个亚马逊云科技区域,但是它们在物理上是彼此分开并相互隔离的,因此,如果一个可用区出现故障,其他可用区不会受到影响,从而确保了数据安全性,并满足了用户数据驻留要求。
(四)更繁荣的安全合作伙伴和解决方案生态系统
当前,越来越多的企业需要在云上构建更敏捷、更弹性和更安全的企业IT系统。为了更好的提升用户的体验,解决用户上云的安全担忧,亚马逊云科技通过使用用户了解和信任的熟悉解决方案提供商提供的安全技术和咨询服务来扩展自身的优势。因此,亚马逊云科技在逐步壮大合作伙伴生态系统,与百家APN合作伙伴开展联合解决方案,重点覆盖了金融、制造、汽车、零售与电商、医疗与生命科学、媒体、教育、游戏、能源与电力九大行业。尤其在安全领域,亚马逊云科技精心挑选了具有深厚专业知识和经过证实的成功经验的提供商,构建了端到端的解决方案和服务,以确保云采用的每个阶段的安全及合规。亚马逊云科技的APN合作伙伴提供了几百个工具和功能,涵盖网络安全、配置管理、访问控制和数据加密的方方面面,以帮助亚马逊云科技用户实现安全目的。
(五)继承最为全面的安全性与合规性控制
云计算作为一种新兴服务模式,已经成为企业发展的关键因素,使用云计算,可以让其摆脱数据中心、节省成本、加快迁移速度,并且享受云上的无限资源,但是在此过程中,面临着一个重要问题就是要满足安全合规要求。为了帮助用户实现合规,亚马逊云科技会定期对数千个全球合规性要求进行第三方验证,并进行持续监控,同时还不断加强用户自己的合规性和认证计划。亚马逊云科技支持数十种安全标准和合规性认证,满足全球几乎所有监管机构的合规性要求。
Glacier最大的两个特点是
1便宜, 是S3的1/12
2访问延时非常高, 访问一个S3的数据可能耗时100毫秒, 访问一个Glacier的数据可能耗时3-5小时
另外,在Glacier中,用户需要自己维护的文件目录
这
是与Glacier的定位相符合的 Glacier是一种cold storage, 可以看做是高级磁带(但实际上是用定制的磁盘),
AWS的官方文档介绍的几种应用场景是: 公司历史数据保存, 出版物(书, **, 音乐, 电视, 新闻)制作过程的素材和中间产物的保存,
科研过程中原始数据的保存

这几种应用场景有如下特征:
数据总量大, 不是以G计算, 而是以T, 甚至P计算
访问频率极低, 大多数文件再也不会访问了
对可靠性要求较高, 要求有异地备份, 防止机房故障
可以看出, Glacier和S3虽然都是存储服务, 但定位不同, cold storage对访问速度不敏感, 对价格很敏感, 因此Glacier的价格就很低廉, 而访问速度则非常慢


