内容简介

云计算，云算计?

当云计算席卷全国，各厂商热热闹闹地“你方唱罢我登场”时，人们禁不住要发出这样的质疑：云计算是否真的是一场全新的IT革命?它究竟是否如传言中所说，即将成为IT人士的事业救星，有着广阔美好的“钱”程和前景?我们的社会、普通百姓是否能真正从云计算中获益?本书作者周洪波先生从自身丰富的实践经验出发，以科学求证的态度，对云计算的技术沿革、应用和商业模式做了清晰有力的论证分析，以期拨开云计算的迷雾，还原云计算的真实面目，为读者提供一份实证的见解。

 

前 言

云计算和物联网是当前ICT业界最受关注的两项技术和业务理念，在互联网上的“百度百科”词条中，“云计算”词条自2007年12月17日创建以来，浏览人次目前已超过150万，“物联网”词条自2007年9月3日创建以来，也有超过130万(主要发生在2009年以后)的浏览人次。根据15年周期律，云计算和物联网将是未来15年ICT产业发展的两条主线。

笔者在2009年底以一个超级计算和网格计算“老兵”的视角写过一篇“从牛计算到云计算”的文章，因为言词较“偏激”，几经“退稿”在《计算机世界》刊出以后，受到较广泛的关注，被“中国云计算”等网站作为“热门人物”的头条文章转载。因为云计算和物联网有着密不可分的关系，后来这篇文章被收录到笔者的《物联网：技术、应用、标准和商业模式》一书附录中。2010年底，闲来又看了一遍书中的这篇文章，感觉言辞粗糙，不妥之处颇多，于是心怀不安……做技术出身的人往往爱“较真儿”，看到或听到业界一些人对云计算发表的观点，时常觉得“有话要说”，加上多年国外工作的经历，虽然一直保持了“求知若渴”的传统美德，但也可能渐渐失去了国人“谦虚若愚”的风范。恰逢此时，鉴于《物联网：技术、应用、标准和商业模式》一书的热销，电子工业出版社的编辑问我是否有意再写一本云计算的书，于是怀着“欠读者一个说法”的不安之情，花了“元旦”和“春节”期间近两个月的业余时间，写成此书，为的是向《物联网：技术、应用、标准和商业模式》一书的读者进一步澄清我对云计算的观点，算是了却一个心愿。本书是《物联网：技术、应用、标准和商业模式》一书的“姊妹篇”，因为两者在结构和论述方法上相似，而且所介绍的两项技术之间互有关联：云计算是物联网运行和大规模运营模式的重要支撑和实现手段。

云计算和物联网目前已经受到全社会关注，很多非ICT人士也希望了解，有的书为了增加可读性和趣味性，把物联网和云计算的概念与所谓美学、儒家和道家思想、养生学、中医学、社会学、伦理学、经济学等相结合做“科普化”描述，有时甚至任意发挥自己的想象，把技术描绘成了无所不能的“玄学”——这不是一种实事求是的科学态度，或许是因为有的作者并没有真正从事过这两项技术的实际工作而没有领悟到它的真谛。例如，有的人不加研究就把Apple Store的成功归因于物联网和云计算，其实从技术上看，Apple Store既不是云计算，也不是物联网。这样的书非但没有起到科普化的作用，反而误导了读者，然而，有一部分读者却很认同那样的书。不忘“谦虚若愚”，笔者在这里并不是要指责这种现象本身，而是想表达一个更深层次的担忧：ICT技术是西方人发明的，基于精细的物理“分析”、一步一个脚印和版本不断升级的“开发”积累手段，而不是我们中国人习惯的中医学式的“综合”和想当然的模糊“类比”手法。如果我们这种思维模式不彻底改变，就很难领悟到技术的真谛，难以把技术真正“落地”并驾驭把握，难以创新，更难以引领技术潮流，这一点我们一定要向西方人学习。笔者深知，这是一个颇具争论的话题，方舟子说中医不是科学，立即受到了众多人的围攻。这里，笔者只是提出个人拙见，算是抛砖引玉。因此，在这两本书的论述方法上，笔者坚持言之有物，用数据和案例说话的方式，不做科普化的“跨学科”的类比，当然，这也是因为笔者知识面和水平所限。

云计算好比ICT业的“共产主义”理想，这个比喻有两层含义：一是指云计算可以实现跨国界的整个ICT资源的整合，进一步实现“各自付费，按需分配”的节约型ICT资源社会化分配模式;二是指这个理想的实现任重而道远，一个ERP系统的成功实施需要企业管理方方面面的改变来适应，是一个系统工程，云计算的“自来水”式服务模式的实现涉及国计民生乃至社会业务形态的变革，是一个更大的系统工程。

云计算可以说是融合了ICT业多年发展的大部分技术的集大成者。简单说来，云计算技术架构就是：单机虚拟化(VMWare, Xen等Hypervisors)是把一个机器变成多个机器来使用，多机虚拟化(支持HPC/Grid的MPI/PVM等技术)是把多个机器当成一个机器来使用(MapReduce是MPI中相关API，如Scatter/Reduce的拓展)。 云计算是单机和多机虚拟化+SOA(大S)和SaaS(小S)的组合。虚拟化提供了计算资源的一个逻辑视图，包括单机和多机虚拟化。

单机虚拟化基于Hypervisor技术，把一个机器分成若干个机器来使用，同时也可把异构系统变成便于管理的同构系统。多机虚拟化基于集群、机群和网格计算技术，把一大堆机器当成一个机器来使用，整合资源，形成“取之不尽、用之不竭”的资源池。SOA/Web Services和效用(Utility)计算等技术可实现像自来水一样使用单机和多机虚拟化技术的组合形成的计算资源。以SaaS模式和理念(包括IaaS和PaaS)为基础的Multi-Tenancy(或Massive MT，即MMT大规模多租户模式)技术可实现更高效率的云计算设施利用和应用层面的服务。

有人说，物联网是“雾”，云计算是“雲”，因为站的角度不同，各种观点都有道理。云计算和物联网其实都是现有ICT技术的提升，并不是什么全新的东西，要点是技术和理念的“提升”。

笔者也注意到目前市面上已经有足够多的关于云计算的书了，如果不是觉得本书有其独特之处，也不会来凑这个热闹再出一本“Me Too”的书。本书主要是作者早年在美国橡树岭(Oak Ridge)国家实验室(机群和集群、超级计算及网格计算技术的主要发源地之一)、IBM(参与了当时(1996年)世界上最快的超级计算机ASCI-Blue Pacific的研发)和DoubleTwist(用机群系统实现了“人类基因组”的全面注释(2000年，世界首次)和创建了首个生物计算多租户SaaS门户)等企业，以及博士学习期间多年从事并行和分布式HPC超级计算技术的实际工作经验的总结和观点的陈述。在云计算时代到来的近几年，笔者主要从事物联网业务，在一些物联网项目中也研究和采用了基于多租户模式的SaaS技术作为M2M/物联网运营平台的支撑(例如，中国移动e物流和M2M支撑平台项目)，并于2007年实地考察了Salesforce的APEX PaaS技术，从而对新形势下的云计算技术有所了解。

本书写作过程中，作者力求在做到深入浅出的同时更希望体现专业性，(斗胆地说)区别于目前国内外市面上的相关书籍。本书基于作者的从业经历深入研究和分析了目前流行的一些云计算技术的来龙去脉，如Hadoop/MapReduce/AWS技术与MPI/PVM/Condor等技术的关联性等，希望能够使国内研发人员对这些技术的深入了解和创新有更深层次的洞察(Insight)，而不仅仅是编辑和介绍这些技术的用途和使用方法。如果本书能够帮助读者在了解云计算技术的历史渊源和来龙去脉，技术和产业现状以及未来发展方向，在理解云计算技术的层次架构和业务模式，从而发掘出新的商业模式，把握云计算的机遇，对做大做强中国云计算产业做出更多的贡献等方面有所启迪，那就是一件非常令人欣慰的事情了。本书内容已得到了一些专家的认可和较高评价，不过笔者不想借助德高望重的专家推荐来吸引读者，而是把好坏的评判留给读者。

本书的部分插图是从网上下载的，我尽己所力对原始出处进行了查证并标明了出处，在此向插图的原作者表示感谢。本书力求准确无误地标明引用资料的出处，如有遗漏和差错，请原始作者与本人联系。

希望本书能够对关心云计算产业发展的各级领导和行业监管部门，高校相关专业师生，以及产业链相关各领域的从业人员、投融资人士等读者群都能有所裨益。由于笔者水平和时间所限，加上云计算产业发展迅速，技术日新月异，理念不断翻新，书中难免会有局限和诸多不足乃至错误之处，欢迎专家和读者不吝批评指正。

目 录

第 1 章

计算力的追求

1.1 概述 2

1.2 计算力就是生产力 7

1.3 计算力的两极化发展 9

1.4 云计算是ICT的“第三产业” 13

1.5 小结 15

第 2 章

走近云计算

2.1 初识云计算 18

2.2 走近云计算 20

2.2.1 相关技术发展历程 23

2.3 云计算：网格和SaaS的融合 28

2.3.1 HPC和网格计算 29

2.3.2 SaaS和XaaS 32

2.4 云计算：ICT的“通天塔” 35

2.5 小结 39

第 3 章

虚拟化与云计算

3.1 虚拟化技术与分类探讨 42

3.2 单机虚拟化 45

3.2.1 Hypervisor技术 50

3.2.2 Hypervisor产品 55

3.2.3 VMWare与Xen 59

3.2.4 其他虚拟化技术 61

3.3 多机虚拟化：云计算的根基 64

3.4 小结 68

第 4 章

HPC系统及其发展

4.1 分布式计算与并行计算 71

4.2 超级计算机的发展及其应用 73

4.2.1 “牛”计算改变格局 76

4.2.2 超级计算与Grand Challenges 80

4.2.3 HPC机群与BOINC 83

4.3 HPC系统体系架构 86

4.3.1 Flynn-Johnson分类法 87

4.3.2 共享内存与SMP 91

4.3.3 分布式内存与MPP 93

4.3.4 HPS高性能路由器 96

4.4 超级计算TOP 500 97

4.4.1 Graph 500和GPU 100

4.5 小结 103

第 5 章

HPC软件与中间件

5.1 并行和分布式算法 105

5.1.1 Amdahl和Gustafson定律 108

5.2 并行处理编程模式 110

5.2.1 Implicit与Explicit模式 112

5.3 HPC中间件与多机虚拟化 115

5.3.1 PVM，MPI与MapReduce 116

5.4 作业调度与管理 119

5.4.1 Condor与Hadoop 123

5.4.2 断点、迁移和VMotion 124

5.5 机群和集群 125

5.5.1 Beowulf、LVS和MOSIX 127

5.6 网格计算与网格中间件 130

5.6.1 Globus Toolkit 135

5.7 小结 138

第 6 章

商用分布式计算与云计算

6.1 EDOC技术与企业级中间件 140

6.1.1 CORBA、.NET和Java EE 143

6.2 效用(Utility)计算 147

6.3 泛在计算与移动计算 149

6.4 P2P网格计算与JXTA 151

6.5 绿色(Green)计算与云计算 153

6.5.1 Google数据中心技术 157

6.6 并发文件系统 159

6.6.1 GPFS、Lustre和HDFS 163

6.7 小结 166

第 7 章

SaaS、SOA与云服务

7.1 SaaS: 软件即服务 169

7.1.1 Salesforce：软件终结者 176

7.1.2 Multi-Tenancy技术与模式 178

7.2 SaaS与套装软件 185

7.2.1 Google大战微软 187

7.2.2 国内外SaaS发展现状 190

7.2.3 SaaS与SPI 194

7.3 SOA是SaaS和云计算的基础 196

7.3.1 SOA与EAI 196

7.3.2 SOA与SaaS 199

7.3.3 SOA与云计算 201

7.4 SaaS 3.0：云服务 203

7.4.1 移动云服务 206

7.4.2 XaaS与物联网 209

7.5 小结 213

第 8 章

云计算体系架构

8.1 NIST的云计算定义 215

8.2 云计算体系架构 219

8.2.1 三层SPI架构 220

8.2.2 四种部署方式 224

8.2.3 五大关键功能 229

8.2.4 六大基本特性 230

8.3 统一Fabric和互联云 233

8.4 云安全与安全作为云服务 235

8.5 云存储技术与云存储服务 239

8.6 移动云计算(MCC) 241

8.7 小结 247

第 9 章

云计算典型技术与系统

9.1 云中间件和云系统 250

9.1.1 IaaS 中间件 251

9.1.2 PaaS中间件 253

9.1.3 云系统 257

9.2 典型IaaS技术和系统 260

9.2.1 Amazon Web Services(AWS) 263

9.2.2 Eucalyptus 268

9.2.3 开源IaaS与Openstack 270

9.3 典型PaaS技术和系统 274

9.3.1 APEX和Force.com 279

9.3.2 AppEngine和AppScale 282

9.3.3 Apache Hadoop和开源PaaS 290

9.4 云计算系统全景图 299

9.5 小结 308

第 10 章

云计算和标准化

10.1 通天塔与标准化 310

10.2 SPI标准化 312

10.2.1 可行性探讨 314

10.2.2 现有成果介绍 319

10.2.3 云计算宣言 324

10.3 网格和SOA的融合 325

10.3.1 作业描述语言标准化 329

10.3.2 网格内部标准化 331

10.4 云安全与云存储标准化 332

10.5 国内标准化情况 334

10.6 小结 335

第 11 章

云计算业务模式探讨

11.1 The Big Switch 337

11.1.1 云计算市场规模 338

11.2 SPI业务模式推动商业模式 345

11.2.1 SaaS和PaaS: 收割长尾 347

11.2.2 IaaS：碳脚印和硬件终结者 351

11.2.3 B&H长尾与云商业模式 355

11.3 云计算现状和趋势 358

11.3.1 产业惯性定律的反作用 362

11.3.2 技术和业务十大趋势 363

11.3.3 15年周期与Gartner周期 366

11.4 中国的现状和对策 371

11.4.1 云算计?政府的作为 372

11.4.2 企业如何把握机遇和核心技术 378

11.5 小结 386

总结 387

参考文献 389

---