美国云计算印象
文 / 蒋涛 刘江2012年3月19日—26日,我们参加中国电子学会云计算专家委员会组织的“云计算美国之行”访问团,到西雅图和旧金山两地拜访美国多家云计算相关公司,其中既有Amazon、微软、Google、Facebook、Rackspace这样的行业巨头,也有Heroku、EngineYard、Puppet等新兴云计算公司,还包括CloudCamp为代表的美国云计算社区。虽然行色匆匆,难...
·
文 / 蒋涛 刘江 2012年3
月
19
日—
26
日,我们参加中国电子学会云计算专家委员会组织的“云计算美国之行”访问团,到西雅图和旧金山两地拜访美国多家云计算相关公司,其中既有
Amazon
、微软、
Google
、
Facebook
、
Rackspace
这样的行业巨头,也有
Heroku
、
Engine Yard
、
Puppet
等新兴云计算公司,还包括
CloudCamp
为代表的美国云计算社区。虽然行色匆匆,难以进行非常深入的交流,但接触面比较广,对美国云计算产业和技术的发展情况有了更多直观认识。
微软 我们到访的第一站是位于西雅图的微软总部。企业
IT
走向云计算已成为大势所趋,所以微软与软硬件巨头
IBM
、
HP
、
Oracle
、
Dell
一样,都在积极布局云计算技术、产品和平台,或收购,或积极研发。 为什么现在云计算如此重要?负责微软企业云战略的
Rolf Harms
从经济学角度给出了答案:
[/caption] 而长远看,公共云相比私有云具有明显的价格优势,如图
2
所示。 [caption id="attachment_11595" align="aligncenter" width="452" caption="图2 私有云与公共云成本比较"]
[/caption] 云计算大战的焦点之一,是如何降低数据中心的建设和运营成本以及环保问题。
Facebook
开源
Open Compute
项目更加剧了数据中心技术方面的竞争。微软也大幅投资云计算数据中心,发展新一代数据中心。这次我们有幸参观了微软在
Redmond Ridge
的研发数据中心,各方面都非常先进,虽然设备的密度极大(
52U/rack
),
PUE
值仍然能够达到
1.17
。应该说,在纯粹设备上国内并不落后,但这个数千平米的数据中心只有
10
人负责运营,而支撑
Azure
平台的主力
Quincy
数据中心,占地
47
万平方英尺,运营人员也只有
35
人,自动化程度惊人。另外负责人介绍,由于设备密度太大,思科现有的交换机已经无法支持,必须开发新一代。 [caption id="attachment_11610" align="aligncenter" width="382" caption="图3 Gartner的IaaS魔力象限"]
[/caption]
Amazon 云计算的理念其实已经发展了很多年,而作为一个术语而流行始自
2006
年,但至今仍然免不了众说纷纭,这一点国内外情况倒是差不多。云管理平台企业
enStraus
副总裁
Bernard Golden
在美国
CIO
圈子里颇有名气,他在交流中说到一个很有意思的现象:很多大公司的
CIO
虽然一方面口口声声云计算还不安全,不能轻率采用,可另一方面已经非常普遍地使用
Salesforce
、
Workday
等
SaaS
软件管理客户和员工等最敏感的信息。不过他也承认,虽然在美国云计算已经成为主流,但大家还是免不了不断的分歧与纷争,因为有太多背景不同的厂商和人说自己在做云计算。 [caption id="attachment_11611" align="aligncenter" width="491" caption="图4 AWS历年发布的服务(出自Jeff-Barr的演示稿)"]
[/caption] 但有一点是大家都有共识的,那就是
Amazon
已经在公共云领域比较稳固地建立了自己的优势。
2011
年
12
月
Gartner
的研究表明,
AWS
自
2006
年推出以来,一直保持高速的产品研发节奏。
AWS
云平台无论在执行能力还是在前瞻性上,都在
IaaS
提供商中处于领先地位。而且它也在向
PaaS
扩张。 与此对应的是,
AWS
惊人的指数型发展速度。由图
5
可见,截止到
2011
年底,
Amazon S3
已存储了
7620
亿对象,年增长率达到
192%
,而且还在不断加速。另外,据美国调查公司
451Group
的报告,
AWS
已经占据了美国
59%
的
IaaS
市场份额。 [caption id="attachment_11598" align="aligncenter" width="466" caption="图5 Amazon S3所存对象数的增长(出自Jeff Barr的演示稿)"]
[/caption] 虽然
Amazon
很少公布图
5
那样具体的规模数字,但我们还是可以从各种渠道做一些估算。此前
Accenture
的
Huan Liu
曾估算
AWS
的服务器可能有
44.5
万台,但一般都认为这个数字可能偏高。
James Hamilton
去年
6
月曾透露,
AWS
当时每天增加的容量足可以支持
Amazon
最初头五年全球运营,而那时公司营收已经接近
30
亿美元了。另据
4
月中旬
DeepField
的数据,现在每天有
1/3
的美国互联网用户至少访问一次
AWS
,它还占据了
1%
总互联网流量,并已经是全球第四大
CDN
。 拜访
Amazon
云计算部门时得知,它现在约有
2000
多人(其中有相当比例是销售人员),今年还准备扩招
500
人左右。有熟悉美国企业运作的同行者据此粗略算出,
Amazon
今年的营收目标至少应该是
20
亿美元。而
2011
年
Gartner
对此数字的估计是
10
亿。发展速度的确惊人。 云计算最初的用户主要是新兴公司,但现在大型互联网企业和许多大型公司也已经转向
AWS
。其中视频服务商
Netfilix
是一个经典案例,这个流量巨大的网站完全放弃了自建数据中心。利用
AWS
做海量存储、大数据分析和容灾备份的就更多了:
SAP
、
Adobe
、三星、爱立信、日立、趋势…… 值得注意的是,除了
Web
应用和海量数据领域,
AWS
近年也在开拓面向企业云服务的产品,
IBM
、
Microsoft
、
Oracle
、
SAP
的全线商业产品和各开源产品的都可部署在
AWS
云服务上。
4
月底,
Amazon
又推出应用商店
AWS Marketplace
,由
Amazon
负责统一计费,更加方便用户。
Rackspace与OpenStack 此次我们也访问了
Rackspace
在旧金山的办公室。
Rackspace
是韩裔美国人
Richard Yoo
于
1998
年创办的,最初只是一家普通的
ISP
。在传统的主机托管厂商之中,较早转型云计算,也成为
IaaS
领域另一个领导性厂商,市值接近
80
亿美元,
2011
年营收超过
10
亿美元。最近他们透露,总服务器数已经超过
8
万台,云计算方面已经占到总业务的两成以上,据估计,它的规模是
Amazon
云平台的五分之一。 [caption id="attachment_11601" align="aligncenter" width="393" caption="图6 与Rackspace创业者关系负责人Robert Scoble合影"]
[/caption] Rackspace
在云计算领域的领导地位还有一个重要原因——它是目前关注度最高的开源云计算项目之一
OpenStack
的主要发起者和实际领导者。而
OpenStack
的核心开发人员有些就在旧金山办公室。到访当天他们显得很忙,未及深谈,后来得知,不久后第五个
OpenStack
版本
Essex
发布了。 从技术上说,
OpenStack
其实与其他开源云技术项目相比并不具备绝对优势。但由于拥抱开源早,路线图明确,很快获得了急需
IaaS
和私有云平台技术的众多厂商的支持。很大程度上,
OpenStack
已经成为抗衡
Amazon
霸主地位的阵营中坚。当然,社区运营和生态系统建设方面,
OpenStack
也有很多成功经验可供国内企业借鉴。现在参与开发的公司除了
Rackspace
、
Nebula
之外,还有
Red Hat
、
Nicira
、
HP
、
Canonical
、
DreamHost
、新浪、维基百科、思科甚至
Citrix
。 在美国的交流中,我们发现除了大家言必称
OpenStack
之外,
VMware
主导的开源
PaaS
项目
Cloud Foundry
的关注度也较高。有趣的是,两者都将自己的目标定为成为云时代的
Linux
。相比之下,
Citrix
最近捐献给
Apache
的
CloudStack
(主要创始人是当年
Sun JVM
的作者
Sheng Liang
)和老牌的
Eucalyptus
的人气就差了很多,但它们都与
AWS
兼容,可以列入
Amazon
阵营。这三大生态系统之间如何竞合,将是云计算的大看点之一。
云计算推动创业 比
AWS
等云平台本身发展更重要的是,它们已成为美国云计算和创业生态系统的基石。由于云平台的存在,加上移动互联网的重大机遇,大量创业公司得以迅速兴起,硅谷、纽约、波士顿等各地,到处一派繁荣景象。比如在旧金山,我们到访的一座不起眼的四层小楼里,《
Wired
》杂志、
Wikia
和
Engine Yard
都在其中。AWS
的客户名单(数以十万计)中包括许多美国当前热门公司(其他多是广告平台):
Pinterest
、
Dropbox
、
Instagram
、
Reddit
、
Zynga
…… [caption id="attachment_11599" align="aligncenter" width="318" caption="图7 AWS上每天访问量最大的客户(出自DeepField的演示稿)"]
[/caption] 这些新兴企业的网络服务就架设在
AWS
平台上,从而免除了“为了让灯亮起来就要在
IT
上花费
80%
的时间和成本”(
Gartner
语),可以专注于开发应用、满足用户需求。比如,最近刚以
10
亿美元(因为大部分是股票,实际价值可能更高)被
Facebook
收购的
Instgram
,其技术方案大量采用
AWS
(主机选择
Amazon EC2
,图片数据库采用
Amazon S3
,
CDN
选用
Amazon CloudFront
等)。所以虽然
Instgram
只有
13
名员工(工程团队仅
3
人),却构建了最强大的移动端图片分享平台,甚至让
Facebook
感到了威胁。 除了面向消费者的互联网和移动应用之外,云计算也为技术提供商创造了机遇。本次访问中我们在
CloudCenter
巧遇
Puppet
创始人
Luke Kanies
,并进行了简短的交流。他是一位资深的系统管理员,后转开发,
2003
年用没学多久的
Ruby
写出
Puppet
,是
DevOps
的最初推动力之一。后以此辞职创业,因为采用开源模式,最初三年公司基本没有收入,是苦苦撑下来的。今天,
Puppet
已经用于
Google
、
Twitter
、
Zynga
等数千企业,
2011
年底累计融资
2500
万美元。
Puppet
的劲敌,是
Amazon
的灾难处理大师
Jesse Robbins
开发的
Chef
,但他本人现在只担任
Opscode
的首席社区官。而
Rackspace
旧金山办公室的负责人
Alex Polvi
也是系统管理员出身的成功创业代表,他的云管理和监控服务
CloudKick
去年被
Rackspace
收购。 [caption id="attachment_11600" align="aligncenter" width="275" caption="图8 AWS其实已经不只是IaaS"]
[/caption] 值得注意的是,
Amazon
现在已经并不限于
Infrastructure
这一层。从图
8
中还可以很清楚地看到,它也在同时向
Platform
层发展,加入很多管理和监控服务。这毫不奇怪,
IaaS
公认利润不高(虽然比
Amazon
的老本行还是要高一些),
PaaS
和
SaaS
才是肥沃之地。而且从用户的角度来看,一站式的服务永远是有吸引力的。 但基于
AWS
的各种第三方
PaaS
服务仍然在繁荣发展,我们这次访问的
Engine Yard
和
Heroku
都是其中的优秀代表。 Engine Yard
是历史最久规、模最大的
PaaS
平台,有
Amazon
投资。目前付费用户超过
2400
个,包括
Apple iTunes
在欧洲的平台也依靠它们支撑。目前
90%
的应用为
Ruby
,其次也支持
PHP
和
Node.js
。 而
Heroku
则是一家以用户体验和技术精湛而著称的
PaaS
公司,最初主要支持
Ruby
(
Ruby
创始人
Matz
是其首席架构师),现在也覆盖了
Python
、
Java
、
Scala
和
Node.js
。
2010
年以
2.12
亿美元卖给
Salesforce
,是云计算平台领域最大的并购之一。但有意思的是,收购已经过去一年多,
Heroku
仍然独立经营,只是从最初的地址搬到了旁边一座更大的楼里,完全保持创业公司的样子,而且平台也丝毫没有要从
AWS
迁移到自家
Salesforce
基础设施的打算。同样有趣的是,
Facebook
不是自建平台,而是在
2011
年
9
月与
Heroku
合作,让后者为
Facebook
上的社会化应用开发者提供
PaaS
服务。为了这次合作,
Heroku
特别增加了
PHP
支持。而合作也为
Heroku
带来丰厚回报:用户激增,平台上的应用数超过
140
万。 有竞争,但合作共赢是主流,大家把更多精力放在产品和创新,为用户提供更好体验上。这种和谐共生的现象,尤其令我们这些见惯了乱景的中国人印象深刻。
今天,一个普通的技术人员可以短时间内借助云计算平台,拥有和巨人对手们相同的计算资源,实现梦想,这才是云计算的真正价值所在。我们需要共同为之努力。
本文选自《程序员》杂志2012年05期,未经允许不得转载。如需转载请联系 market@csdn.net
《程序员》2012年杂志订阅送好礼活动火热进行中
- Cloud = doing what you do today for less
- Cloud = doing what you do today better
- Cloud = doing things you can't do today
![图1 私有云与公共云适用场景](http://www.programmer.com.cn/wp-content/uploads/2012/05/%E5%9B%BE1-%E7%A7%81%E6%9C%89%E4%BA%91%E4%B8%8E%E5%85%AC%E5%85%B1%E4%BA%91%E9%80%82%E7%94%A8%E5%9C%BA%E6%99%AF.jpg)
![图2 私有云与公共云成本比较](http://www.programmer.com.cn/wp-content/uploads/2012/05/%E5%9B%BE2-%E7%A7%81%E6%9C%89%E4%BA%91%E4%B8%8E%E5%85%AC%E5%85%B1%E4%BA%91%E6%88%90%E6%9C%AC%E6%AF%94%E8%BE%83.jpg)
![图3 Gartner的IaaS魔力象限](http://www.programmer.com.cn/wp-content/uploads/2012/05/%E5%9B%BE3-Gartner%E7%9A%84IaaS%E9%AD%94%E5%8A%9B%E8%B1%A1%E9%99%90.jpg)
![图4 AWS历年发布的服务(出自Jeff Barr的演示稿)](http://www.programmer.com.cn/wp-content/uploads/2012/05/%E5%9B%BE4-AWS%E5%8E%86%E5%B9%B4%E5%8F%91%E5%B8%83%E7%9A%84%E6%9C%8D%E5%8A%A1%28%E5%87%BA%E8%87%AAJeff-Barr%E7%9A%84%E6%BC%94%E7%A4%BA%E7%A8%BF%29.jpg)
![图5 Amazon S3所存对象数的增长(出自Jeff Barr的演示稿)](http://www.programmer.com.cn/wp-content/uploads/2012/05/%E5%9B%BE5-Amazon-S3%E6%89%80%E5%AD%98%E5%AF%B9%E8%B1%A1%E6%95%B0%E7%9A%84%E5%A2%9E%E9%95%BF%28%E5%87%BA%E8%87%AAJeff-Barr%E7%9A%84%E6%BC%94%E7%A4%BA%E7%A8%BF%292.jpg)
![图6 与Rackspace创业者关系负责人Robert Scoble合影](http://www.programmer.com.cn/wp-content/uploads/2012/05/%E5%9B%BE6-%E4%B8%8ERackspace%E5%88%9B%E4%B8%9A%E8%80%85%E5%85%B3%E7%B3%BB%E8%B4%9F%E8%B4%A3%E4%BA%BARobert-Scoble%E5%90%88%E5%BD%B1.jpg)
![图7 AWS上每天访问量最大的客户(出自DeepField的演示稿)](http://www.programmer.com.cn/wp-content/uploads/2012/05/%E5%9B%BE7-AWS%E4%B8%8A%E6%AF%8F%E5%A4%A9%E8%AE%BF%E9%97%AE%E9%87%8F%E6%9C%80%E5%A4%A7%E7%9A%84%E5%AE%A2%E6%88%B7%28%E5%87%BA%E8%87%AADeepField%E7%9A%84%E6%BC%94%E7%A4%BA%E7%A8%BF%29.jpg)
![图8 AWS其实已经不只是IaaS](http://www.programmer.com.cn/wp-content/uploads/2012/05/%E5%9B%BE8-AWS%E5%85%B6%E5%AE%9E%E5%B7%B2%E7%BB%8F%E4%B8%8D%E5%8F%AA%E6%98%AFIaaS.jpg)
![Facebook](http://www.programmer.com.cn/wp-content/uploads/2012/05/IMG_5334_%E5%89%AF%E6%9C%AC_%E5%89%AF%E6%9C%AC.jpg)
更多推荐
所有评论(0)