亚马逊 re:Invent 2020 已经于 12 月 18 日正式落下帷幕,这场为期三周的云计算行业顶级盛会中,给从业者带来了诸多的惊喜与感叹。5场 keynote,18 场高管演讲,超过 500 场分会演讲,亚马逊 re:Invent 2020 在首次选用了线上直播模式之后,依然保持了以往的高质量水准。

不过即便采用了线上的模式,依然会有人无法尽数掌握为期三周的大会全部内容,因此 CSDN 联合 Amazon Web Services (AWS) ,共同推出本篇回顾文章,带领读者朋友们共同再看亚马逊 re:Invent 2020 给我们带来了哪些惊喜。

首周回顾:AWS 发布全貌和重点产品

Andy Jassy 三小时演讲,划出33条重点

在亚马逊 re:Invent 2020 的第一天, AWS 首席执行官 Andy Jassy 带来了一场长达三小时的精彩主题演讲,他从多个角度剖析了企业创新突破的关键要素,同时发布了涵盖计算、存储、数据库、数据分析、容器及机器学习等方面的一系列引领未来的新服务、新产品。

1、重磅推出 Amazon EC2 Mac 实例,服务 2800 万 Apple 开发者,基于 Mac mini 电脑而构建,使客户首次能够在 AWS 云端按需运行 MacOS 工作负载,将 AWS 的灵活性、可扩展性和成本优势拓展给所有 Apple 开发人员。那些为 iPhone、iPad、Mac、Apple Watch、Apple TV和Safari 开发应用的开发人员,可以通过使用Amazon EC2 Mac 实例,在几秒钟内配置和访问 MacOS 环境,按需动态扩展容量,并按需付费。

2、全新 AWS Graviton2 驱动的 C6gn 实例提供了 100 Gbps 的网络性能,与当前基于 x86 的同类实例相比其性价比提高了 40%。

3、新的搭载 AMD 芯片的 G4ad 图形处理单元(GPU)实例为图形密集型应用提供了业界最佳的性价比。

4、全新 M5zn 实例提供了云端最快的 Intel Xeon 可扩展处理器,其全核睿频频率高达 4.5 GHz,每核的计算性能比当前 M5 实例高出 45%。

5、下一代基于 Intel 的 D3 / D3en 实例可提供云端最高存储容量的本地 HDD 存储。

6、新的内存优化型 R5b 实例与 Amazon Elastic Block Store(Amazon EBS)相同大小的 R5 实例相比,性能提高了 3 倍,为 Amazon EC2 提供了最快的块存储。

7、两个较小的 AWS Outposts 单元 - 1U 和 2U 服务器让客户可以在空间受限的本地机房访问 AWS。

8、AWS Local Zones 扩展到波士顿,休斯顿和迈阿密,并计划于 2021 年在美国其他 12 个城市推出。

9、AWS Lambda 将支持打包和部署最大容量为 10 GB的容器映像,同时以 1 毫秒作为新的计费粒度帮助使用者节省成本。

10、Amazon EBS io2 Block Express 存储卷提供了首个为在 SAN 上运行的工作负载而构建的云存储服务,具有高达 256,000 IOPS,4,000 MB /秒的吞吐量和 64 TB 的单卷容量。

11、下一代 Amazon EBS Gp3 存储卷使客户能够独立于存储容量之外来提供额外的 IOPS 和吞吐量性能,提供高达 4 倍的峰值吞吐量,且每 GB 的价格比上一代存储卷低 20%。

12、Amazon S3 智能分层支持的存储类型从现有的 S3 频繁访问型和非频繁访问型扩展至 S3 Glacier 归档型和深度归档型,客户使用对象存储的成本可降低多至 95%。

13、Amazon S3 Replication(multi-destination)提供了将数据同时复制到同一 AWS 区域或任意多个 AWS 区域中的多个 S3 存储桶的能力,以满足客户的全球内容分发、存储合规性和数据共享需求。

14、新推出 Amazon Aurora 无服务器数据库服务新版本——Amazon Aurora Serverless v2,可以在不到一秒内扩展数十万次事务。根据业务需求随时扩容,与按业务高峰需求进行资源配置的方式相比可节省高达 90%的成本。

15、新推出数据库代码转换功能——Babelfish for Aurora PostgreSQL,适用于 Aurora PostgreSQL 的 Babelfish 使客户能够在几乎不更改代码的情况下,直接在 Amazon Aurora PostgreSQL 上运行 SQL Server 应用程序,让客户摆脱了传统数据库供应商常见的惩罚性业务行为。

16、AWS 将于 2021 年在 GitHub 上发布 Babelfish for PostgreSQL 项目,该项目采用 Apache 2.0 开放许可,通过开源使 Babelfish for Amazon Aurora PostgreSQL 的转换层优势能帮助更多的企业组织。

17、AQUA (Advanced Query Accelerator) for Amazon Redshift,Amazon Redshift 高级查询加速器,提供创新性的硬件加速缓存,能提供比其它任何云数据仓库高达 10 倍的查询性能。

18、AWS Glue Elastic Views 让开发人员可以轻松地构建跨数据存储的物化视图,实现在多个数据存储中自动合并和复制数据。

19、Amazon QuickSight Q 是 Amazon QuickSight 的一项基于机器学习的功能,用户可以用自然语言键入有关其业务数据的问题,并在几秒钟内就可以收到高度准确的答案。Capital One、Best Western Hotels & Resorts、NTT DOCOMO、Audible 和 Panasonic Avionics 等客户已经在使用新的数据分析功能。

20、Amazon ECS Anywhere 和 Amazon EKS Anywhere 分别让客户能够在自己的数据中心运行 Amazon ECS 和 Amazon EKS。

21、AWS Proton 为客户提供全新服务,使容器和无服务器应用程序的开发和部署自动化。

22、Amazon Elastic Container Registry (Amazon ECR) Public 为开发者提供简单而高可用的方法,可以公开地共享和部署容器软件。

23、新推出 Amazon Connect Wisdom,为客服中心座席提供解决问题所需的信息。

24、新推出 Amazon Connect Customer Profiles,提供每个客户的统一档案,客服中心座席可以用它来提供更个性化的服务。

25、新推出 Real-Time Contact Lens for Amazon Connect,让客服中心经理能够在客服电话进行中介入客服沟通。

26、新推出 Amazon Connect Tasks,可自动化、跟踪和管理客服中心座席的任务,将座席的工作效率提高 30%。

27、新推出 Amazon Connect Voice ID,使用机器学习驱动的语音分析提供实时来电身份验证。

28、AWS 宣布了完全托管的运营服务——Amazon DevOps Guru。利用机器学习技术,帮助开发人员自动检测运营问题,提供补救建议,提高应用程序可用性。Amazon DevOps Guru 采用了支持 Amazon.com 和 AWS 卓越运营多年的机器学习技术,通过自动收集和分析应用程序指标、日志、事件和痕迹等数据,可以追踪偏离正常运营模式的行为,例如,算力配置不足、数据库不足、I/O 过度使用、内存泄漏等。

当 Amazon DevOps Guru 识别出可能导致服务中断的应用程序异常行为,例如延迟、错误率、资源限制等增加,它将向开发人员发出问题详细信息,例如,涉及的资源、问题时间表、相关事件等,并通过 Amazon SNS 消息服务或者 Atlassian Opsgenie、PagerDuty 之类的合作伙伴集成服务,帮助开发人员快速了解问题的潜在影响和可能原因,并提出具体的修复建议。开发人员可以使用 Amazon DevOps Guru 的修复建议,减少问题修复时间,并且无需手动设置或机器学习专业知识,即可提高应用程序的可用性和可靠性。

29、新推出端到端机器监控解决方案——Amazon Monitron,它包含传感器、网关和机器学习服务,用于检测可能需要维护的设备异常状况。

30、新推出设备异常检测及预测性维护解决方案——Amazon Lookout for Equipment,它针对拥有设备传感器的客户,使客户能够用AWS机器学习模型检测设备异常行为并进行预测性维护。

31、新推出质量控制及工区安全解决方案——AWS Panorama Appliance,针对已在工业设施中装配摄像头的客户,让客户可以使用计算机视觉,改善质量控制和工作场所安全。

32、新推出软件开发套件 (SDK)——AWS Panorama,让工业相机制造商可以在新相机中嵌入计算机视觉功能。

33、新推出产品或流程异常检测解决方案——Amazon Lookout for Vision,可以在图像和视频流上使用 AWS 训练的计算机视觉模型,发现产品或流程中的异常和缺陷。

盘点亚马逊 re:Invent 2020 首周亮点,42分钟精华解读版等你来看!

AWS Lambda重点发布

AWS Lambda 这次迎来了几个重点发布:

1. 运行时长的计费粒度从 100 毫秒缩小到1毫秒 - 过去如果你的 Lambda Function 运行只需要不到 30ms 就可以完成的话,这次降价可以让你节省费用高达 70% 以上。

2. 更大的内存空间 - 最大 10GB 的内存

3. 更多的 CPU 资源 - 最多 6vCPU

4. Lambda 支持容器镜像 - 让你的 Lambda Function 可以加载最大 10GB 的容器镜像运行

Lambda 支持容器镜像是 Lambda 自 2014 年发布以来一次相当大的革命性升级,在过去我们需要决定 Lambda 运行的 runtime,透过 zip 压缩包的方式发布到Lambda运行环境,某种程度存在许多本地开发的不便与困难,而这次 Lambda 的容器支持让我们可以用符合 Docker 和 OCI 的容器标准的镜像,直接使用AWS提供基于不同语言环境的基础镜像包括 Python, Node.js, Java, .NET, Go, Ruby 等,就可以简单封装自己的 Dockerfile 并且本地构建容器镜像发布到 Amazon ECR,让 AWS Lambda 直接使用 Amazon ECR 上的镜像来运行事件驱动的应用,使得 AWS Lambda 的开发与测试运行在大家已经非常熟悉的容器开发环境,使用与容器一致的开发测试工具。而且 Lambda 支持最大 10GB 的容器镜像,方便打包 Tensorflow、Numpy 和 PyTorch 等常用的机器学习大型依赖库,也可以打包大型的模型参数文件。大幅增加了 AWS Lambda 的易用性以及拓展了新的使用场景。

容器服务重点发布

AWS 容器服务这次迎来了几个重要的更新:

1. Amazon ECS Anywhere - Amazon ECS 可以部署在本地环境或私有环境

2. Amazon EKS Anywhere - Amazon EKS 可以部署在本地环境或私有环境

3. Amaozn ECR Public - Amazon ECR 开始允许用户发布公开的镜像仓储

Amazon ECS 自从 2014 发布以来简化了在 AWS 上面运行容器管理的复杂性,并且让我们可以轻松管理各种规模的 Amaozn ECS 集群,在 2018 年发布了 AWS Fargate 之后再次把 Amazon ECS 推向基于 Serverless  Container 新的高度,许多客户与开发者希望能在自己的私有或本地环境运行 Amazon ECS 集群,但依然保有一致性的 Amazon ECS 控制平面的操作体验,于是我们发布了 Amaozn ECS Anywhere,并且即将在 2021 年正式推出。

Amazon ECS Anywhere 允许我们将集群部署在 AWS region 以外客户自行管理基础设施的环境,通过 Amazon System Manager agent 的方式将节点注册到同一个控制平面成为 EXTERNAL 节点,如此就可以通过同样的控制平面决定 Amaozn ECS task 要运行在 EC2, Fargate 或者 EXTERNAL 环境。

Amazon EKS Anywhere 通过最新的 Amazon EKS Distro 为核心,让我们可以将 Amazon EKS 集群包括 API server 部署到本地或私有的环境,如此一来可以获得与运行在 AWS 上的 Amazon EKS 集群获得一致性的操作体验,第一时间获得来自 Amazon EKS 团队提供的安全与效能的补丁(patch)。Amazon EKS Distro 是 Amazon EKS 团队使用相同的开源Kubernetes以及相关依赖组建,打包而成的一个 Kubernetes 分发(distribution), Amazon EKS Distro 包含了容器与 Kubernetes 各种开源组建所需要的二进制文件,包括 etcd, 网络与存储插件等,并且通过 Amazon EKS Distro 提供的重要安全更新进行升级补丁,提供延伸的技术支持。Amazon EKS Distro 是支持整个 Amazon EKS Anywhere 的一个核心组件。

Amazon ECR Public 是这次伴随者 AWS Lambda Container 支持一起发布的一个新服务,在过去 Amazon ECR 仅提供私有镜像仓储托管的功能,如今正式提供了公开镜像仓储(Public Registry)的功能,主要免费额度如下:

1. 每个用户每月可获得 50 GB 免费公开镜像存储空间

2. 匿名拉取镜像每个月免费 500 GB 的流量

3. 登录 AWS 的用户通过认证之后可以提高到每月 5 TB 的流量

4. 运行在 AWS 的工作负载拉取 ECR Public 镜像没有流量限制

此外我们也推出了 Amazon ECR Public Gallery, 许多我们需要的第三方常用的公开镜像我们可以直接浏览 Gallery 查找并且自由使用而不需要使用其他托管在第三方的容器镜像,这大幅增加了 AWS 本地工作负载拉取第三方公开镜像的速度与可靠性。

DevOps 重点发布

AWS Proton - 全受管的自动化部署服务

伴随着 AWS Lambda Container, Amazon ECS Anywhere 与 Amazon EKS Anywhere 的发布,越来越多开发者希望能获得一个全受管的自动化部署体验,无论是运行在 Serverless 或各种 Container 环境。AWS Proton 正是为现代化应用的自动化部署需求而设计的,AWS Proton 允许团队当中的平台运维部门与应用开发部门各自定义平台模版(Platform Template)与服务模版(Service Template),并且根据定制的模版创建出对应的基础设施与应用,彼此互相对接,并且自动产生流水线(Pipeline)提供自动化 CI/CD 的部署工作,并且与项目的 Source Repository 自动集成。

第二周回顾:机器学习与 EC2 的发力

亚马逊 re:Invent 2020 的第二周迎来了包括来自 Amazon AI 部门副总裁 Dr. Swamin Sivasubramanian 的 Machine Learning Keynote 与 AWS 全球基础架构和客户支持资深副总裁 Peter DeSantis 的 Infrastructure Keynote。

盘点亚马逊 re:Invent 2020 第二周亮点

Machine Learning Keynote 重点发布

在 Machine Learning Keynote 当中,Dr. Swami 一口气发布了九个 Amazon SageMaker 的新服务或新功能:

(1) Amazon SageMaker Data Wrangler 数据特征提取器。Amazon SageMaker Data Wrangler 可以简化机器学习的数据准备工作。机器学习训练中有一个重要的工作,称为特征工程,就是从不同来源、格式多样的数据提取数据,形成规范化的数据字段(也称为特征),作为机器学习模型的输入,这项工作非常耗时。通过 Data Wrangler,客户可以将各种数据存储中的数据一键导入。Data Wrangler 内置了 300 多个数据转换器,让客户无需编写任何代码,就可以机器学习用到的特征进行规范化、转换和组合。客户可以通过在 SageMaker Studio(首个用于机器学习的端到端集成开发环境)中查看这些转换,快速预览和检查这些转换是否符合预期。

(2) Amazon SageMaker Feature Store 数据特征存储库。鉴于有大量的特征需要管理,AWS 为 Amazon SageMaker 推出了一项新功能,名为  Feature Store。它一个用于更新、检索和共享机器学习特征的专用库。通过 Data Wrangler 把特征设计出来以后,可以保存在 Feature Store 中,以供重复使用。一组特征会用于不同的模型,被多个开发人员和数据科学家使用,需要有效地跟踪、管理这些特征,及时更新,保持一致性。模型训练和利用模型进行推理(也就是实际运用模型),对特征的使用场景也不同。在训练过程中,模型可以离线、批量地访问特征,使用时间长。而对于推理,通常只用到特征库的一部分,不过需要实时访问,几毫秒内返回预测结果。因此,如何特征库的管理是一件复杂的事儿,Feature Store 就用于解决这些问题。

(3) Amazon SageMaker Pipelines 自动化工作流。跟传统编程一样,编排和自动化可以提高机器学习的效率。Amazon SageMaker Pipelines 是第一个专为机器学习构建的、方便易用的 CI/CD(持续集成和持续交付)服务。

(4) Amazon SageMaker Clarify 模型偏差检测。通过 Amazon SageMaker Clarify,开发人员可以方便地检测整个机器学习工作流中的统计偏差,为机器学习模型所做的预测做出解释,识别偏差,清晰描述可能的偏差来源及其严重程度,指导开发人员采取措施减小偏差。

(5) Deep Profiling for Amazon SageMaker Debugger 对模型训练进行剖析。通过 Deep Profiling,能够自动监控系统资源利用率,例如 GPU、CPU、网络吞吐量和内存 I/O,对训练过程中的资源瓶颈进行告警,让开发者及时调度资源,更快地训练模型。

(6-7) Distributed Training for Amazon SageMaker 大型复杂深度学习模型的分布式训练。AWS提供了两种方法,模型训练拆分到几百、几千个 CPU 上进行。一个是数据并行引擎,对数据集进行拆分。一个是模型并行引擎,自动剖析、识别分割模型的最佳方式,在多个 GPU 上高效分割具有几十亿参数的大型复杂模型。通过对训练进行拆分,Amazon SageMaker 可以将训练大型复杂深度学习模型的速度比当前的方法快两倍。

(8) Amazon SageMaker Edge Manager 边缘端模型质量监控和管理。Amazon SageMaker Edge Manager 可以帮助开发人员优化、保护、监控和维护部署在边缘设备集群上的机器学习模型。模型部署到边缘设备以后,仍然需要管理和监控模型,确保它们持续以高精度运行。当模型的准确性随着时间的推移而下降时,开发人员可以重新训练模型,不断提高模型的质量。

(9) Amazon SageMaker JumpStart 快捷起步工具。通过 Amazon SageMaker JumpStart,客户可以快速找到跟自己类似的机器学习场景相关信息。新手开发人员可以从多个完整的解决方案进行选择,例如欺诈检测、客户流失预测或时序预测,直接部署到自己的 Amazon SageMaker Studio 环境中。有一些经验的用户则可以从 100 多个机器学习模型中选择,快速开始模型构建和训练。

Infrastructure Keynote 重点发布

在 Infrastructure 的主题演讲当中,Peter DeSaintis 带领我们一起回顾了 AWS Nitro System 的历史演进, Nitro System 是 AWS 与 Annapurna Labs 共同合作研发的定制芯片,如今已经发展到了第四代。Nitro 控制器能最大程度发挥 EC2 完整的性能,使其非常接近裸机(Bare Metal)的性能表现。

其中 Peter 说明了上周发布的 EC2 mac1 实例,AWS 已在 Mac Mini 上安装了 Nitro Controller,没有 Hypervisor 的 Nitro Controller 可以安全快速地连接到 Mac Mini。Mac Mini 现在可以使用任何本地 AWS 服务,并且享有所有 EC2 与其他服务的集成。

而 AWS 定制芯片的研发成果,不仅延伸到机器学习领域,包括在 2018 年底发布的 AWS Inferentia 机器学习推理芯片以及上周发布特别为机器学习训练优化的 AWS Trainium 芯片,我们在 2018 年底推出了基于 ARM64 的 Graviton 芯片,而今年我们发布了 Graviton2 第二代的芯片,提供通用场景最好的 EC2 性能表现,并且大幅降低费用,提供极佳的性价比。


第三周回顾:混沌工程与拥抱开源

亚马逊 re:Invent 2020 第三周迎来了 Amazon CTO Dr. Werner Vogels ,他针对混沌工程、开源项目以及开发工具等诸多内容进行了系统陈述。

盘点亚马逊 re:Invent 2020 第三周亮点,精华解读

AWS CloudShell

AWS CloudShell 是一套基于浏览器的云端 shell 终端机,让我们不需要启用任何 EC2 示例就可以免费并且安全地进行日常终端机操作,AWS CloudShell 自带了 AWS CLI v2, Powershell, npm, python, node, pip, wget 等常用工具,并且提供了每个 AWS 账户每个 region 免费 1GB 的持久化存储对应到用户的家目录($HOME), 在文章最后的影片当中,我们会演示如何运行一个 AWS CloudShell 并且部署一个 CDK 应用。

AWS Fault Injection Simulator

AWS Fault Injection Simulator 是一套全受管的混沌工程(Chaos Engineering)服务,他帮助团队在各种不同流量规模当中发现应用的弱点以改善整体的效能,可观测性与弹性。混沌工程是在测试环境或生产环境创建各种影响正常运作的事件,例如服务器宕机或 API 被限流等,用来观测系统当下的行为表现进而设计与实现更好的对策。混沌工程帮助团队创建真实生产环境会面临的各种状况,帮助早期发现不容易被察觉的问题,并且监控与发现可能存在的盲点或效能瓶颈。

AWS Fault Injection Simulator 简化了整个混沌工程的部署、设置与运行的流程,并且支持多个 AWS 服务,团队可以透过预先定制的模版快速搭建各种模拟实验来产生各种预期的干扰事件,例如服务器返回延迟或数据库故障等,甚至多种事故同时发生的场景,让团队可以快速定位问题并且加以改善。

AWS Fault Injection Simulator 预计 2021 年正式推出。

Amazon Managed Service for Prometheus(AMP)

Prometheus 是 2018 年从 CNCF 毕业的开源项目,是 Cloud Native 生态当中非常受欢迎的监控与报警解决方案,透过 AMP,我们将可以使用已经非常熟悉的 Prometheus Query Language(PromQL)来监控各种容器工作负载而不需要管理底层基础建设。AMP 与 EKS,ECS 和 AWS Distro for OpenTelemetry 都有很好的集成。

Amazon Managed Service for Grafana(AMG)

跟随 Amazon Managed Service for Prometheus 一起发布的是 Amazon Managed Service for Grafana(AMG), Grafana 是一套非常受欢迎的开源资料视觉化与运维主控台管理工具。

AMG 是 AWS 与 Grafana Labs 合作推出的产品,相容开源的 Grafana,是一套全受管的资料视觉化工具,帮助我们对多个数据源进行分析、监控、报警,并且提供互动的主控台界面,并且提供多个 AWS 用户与多个 AWS region 的支持。

今年的亚马逊 re:Invent 2020 为我们带来了大量的前沿云计算内容分享和新服务的发布资讯,这场大会不仅仅是全球云计算产业的年度指标性大会,其发布的新服务和新功能也能够为开发者带来切实的帮助,给未来更多选择。

今天也是 2020 年最后一天,预祝大家在 2021 年收获更多精彩!

点分享点点赞点在看
Logo

20年前,《新程序员》创刊时,我们的心愿是全面关注程序员成长,中国将拥有新一代世界级的程序员。20年后的今天,我们有了新的使命:助力中国IT技术人成长,成就一亿技术人!

更多推荐