yahoo云计算架构副总裁
经常有人问,Yahoo准备转向云吗?我们的回答是,不,我们已经是云了。 Yahoo不会提供Amazon或者 Google那样的公共云平台。但是,我们早就开始向数以亿计的用户提供个人云服务了:邮 箱、照片、金融服务等等。我们称之为个人云。 更重要的是 ,当业界目前更多地将云计算视为降低成本、节约能源手段的时候(这些当然也非常重要),在Yahoo,云计算已经成为一种关键性的创新驱动力。 作为全球最大的互联网公司之一,Yahoo正面临着巨大的技术挑战。公司自身拥有庞大的网络资产,超过9千万网页,6亿用户(仅Yahoo邮件就有超过3亿的用户),成百个关注点和背景各异的产品和服务,每天要通过分析一千 亿以上各种各样的事件:登录、提醒、广告点击、文章点击、论坛发贴、上传图片、打标签、购物车……每天的流量数据以PB计算,存储数据量更是以数百PB的速度增加 …… 怎样才能在如此大规模的平台上,快速从海量数据中提取有价值的信息,将最受欢迎的内容提供给对其最感兴趣的用户,满足各种各样个性化的使用模式?怎样在这种规模的平台上,将停运时间降至最低(在Yahoo,即使是短时的停运,损失都将高达数百万美元),满足用户不断变化的需求,提供更好的用户体验?怎样优化Yahoo的 现有产品与服务,提升广告商的满意度,从而提高公司的 收益? 应对这些挑战只能依靠创新,而创新又有赖于云计算 基础设施的支持。与其他公司不同的是,Yahoo在云计算方面采取了全面开源的战略。众所周知,Yahoo是开源云计算技术平台Hadoop的诞生地和主要支持力量。在过去 五年多时间里,Yahoo在Hadoop以及Pig、ZooKeeper、Hive、Howl、HBase和Oozie等相关开源项目中投入了大 约300人年,累计数千万美元,将Hadoop从一个有趣的原型发展为坚实的可扩展框架,产生了丰硕的成果。 Hadoop也已经成为Yahoo基础设施和许多重要业务流程(搜索、广告、反垃圾邮件、个性化等等)的核心组件。Hadoop在Yahoo内部已经广泛应用于多个生产环境, 涉及全球多个数据中心,超过4万台服务器(内含30万以上 的CPU核心),20多个集群。其中最大的集群包括4千台服务器,也是世界上规模最大的Hadoop集群。目前Hadoop支持着公司内部1000多个科研团队用户,每天超过20万个作业,每秒几万次请求。甚至可以说,在Yahoo各个网站上每一次点击背后都有Hadoop的功劳。Hadoop使Yahoo更多研发人员可以在更高的抽象层次工作,大大缩短了产品开发 周期,显著减少了人力和基础设施成本。 未来,Yahoo还将对Hadoop等云计算基础设施研发和社区支持继续投入。而且,我们正计划通过Hadoop和其他开源项目,将Yahoo内部所有的底层云计算基础架构逐步地全部开源。为什么我们这样大力支持开源?原因很简单,我们不认为这些云计算基础技术是什么差异化竞争优势,而且Yahoo已经从Hadoop活跃的开源社区中获益匪浅。 从Hadoop的成功故事中,我们可以总结以下几点开源的优势: 通过开源,Hadoop已经从一个内部技术成长为优秀而稳定的工业标准,从而避免了一般企业内专有技术经常遇到的被外部新标准逼向死胡同的问题。 通过开源,Hadoop社区在Yahoo之外出现了更多活跃用户,他们的贡献产生了许多对Yahoo也很重要的技术,比如HBase和Hive,最终节约了公司的成本。 通过开源,Yahoo公司能够从社区更容易地聘请到优秀的训练有素的人才,而且与许多伙伴的合作也更加顺畅。 更重要的是,通过开源,我们既能够以最经济高效地方式进行研发,实现自身的业务目标,又能够欣喜地看到自己的工作被成千上万的人用于远超出预期的各行各业,最终改变了世界,我们为此而深感自豪。 (本文来自《程序员》杂志11年03期,更多精彩内容敬请关注03期杂志) 《程序员》11年03期精彩内容:2011开放平台之征 《程序员》杂志订阅
Logo

20年前,《新程序员》创刊时,我们的心愿是全面关注程序员成长,中国将拥有新一代世界级的程序员。20年后的今天,我们有了新的使命:助力中国IT技术人成长,成就一亿技术人!

更多推荐