云计算的关键技术与应用实例

后记

云计算技术的创新是应用技术和架构技术的创新，离彻底的技术变革还是有很长的一段距离。云计算之后未来的计算技术要走向何方，从单机到并行计算、网格计算再到云计算，计算技术的逐步前进使人类拥有了前所未有的信息处理能力，然而要实现真正的计算智能以计算机的简单叠加是不可能最后解决问题的，由不确定性所导致的隐含并行性，也许是一个思路。计算技术的发展也许会走出这么一个轨迹：单机计算、并行计算、网络计算、云计算、…、隐含并行计算。我们永远需要创新地去思考，技术的发展是没有止境的。隐含并行性（Implicit：Parallelism）这一时常出现在计算机算法中的精灵，一直被计算机学者所忽视，隐含并行性的存在使一些算法具有神奇的并行搜索能力和复杂问题的求解能力。我们在对遗传算法隐含并行性以及物理学中不确定性理论研究的基础上发现：隐含并行性存在于大量的智能算法中，正是由于隐含并行性的存在，使这类算法具备很强的解空间搜索能力。这一发现使我们意识到算法的隐含并行可能是一把解开人工智能奥秘的钥匙，对算法隐含并行性出现的物理本质进行解释，将有助于我们从一个新的视角进一步了解人工智能产生的机制。自然界的发展，人类从C、H、O原子进化到高级智能生命体的过程，无不昭示着我们的大自然本身就是一个具有极强隐含并行能力的系统。无独有偶，我们发现不只是遗传算法，大量的自然算法如模拟退火算法、蚁群算法、神经网络算法、量子算法都具有对解空间的高效搜索能力，这些算法通过对大自然的模仿都具备了较强的信息搜索能力，从某种程度上实现了对智能行为的模拟。更为巧合的是这些算法无一例外的都采用了概率的方法，通过概率方法即使算法系统处于一种不确定的状态。自然界的这种不确定性状态在1900年提出的量子论中的迭加原理和海森堡测不准原理得到了证明，这说明大自然从本质上讲是一个不确定的系统，我们无法对大自然实施准确的测量，因而不确定性也是大自然能实现并行进化的原因，如量子计算机利用迭加态所构成的概率系统可以实现超强的并行计算能力，这一点提示我们得到以下猜想：算法的隐含并行性的出现与算法中采用概率方法构造的不确定性系统有直接关系，正是由于不确定性导致了算法出现隐含并行性这一现象。

作者简介

《云计算的关键技术与应用实例》从并行计算切入，以全新的视角全面讲述了云计算技术，主要内容包括并行计算技术、云计算的关键技术、架构及实例、云计算与智能、云计算技术的竞争性分析等内容。书中针对云计算中的大量技术架构、细节及战略问题提出了自己的看法和解决方案，并对云计算的底层技术给出了具体的模型化实现实例——云计算V0.01。这些内容大多数来自于我们近期在云计算领域的研究成果和开发实际项目经验。

全书内容丰富，知识跨度较大，对云计算技术人员、技术战略分析人员和爱好者均有重要的参考价值，也可供高等院校研究云计算和并行计算的研究者和同学作为参考资料及教材使用。

书籍目录

第1篇  从并行计算到云计算   第1章  并行计算与云计算  1.1  并行计算到云计算的演变  1.2  云计算需要定义吗？   1.3  云计算是否是新瓶装旧酒  1.4  MPI与Hadoop，不同学科学者的选择  1.5  云计算与浏览器  第2章  MPI并行计算环境的建立  2.1  配置前的准备工作   2.2  挂载NFS文件系统  2.3  配置ssh实现MPI节点间用户的无密码访问  2.4  安装MPICH2   2.5  建立并行计算环境时的注意事项  第3章  并行计算时代的程序设计方法  3.1  最简单的并行程序  3.2  获取进程标志和机器名  3.3  有消息传递功能的并行程序  3.4  Monte Carlo法在并行程序设计中的应用   3.5  并行计算中节点间的Reduce操作  3.6  用MPI的6个基本函数实现Reduce函数功能   3.7  计算与通信的并行  3.8  节点间自定义复杂数据结构的传输  3.9  MPI与MySQL数据库的结合应用  3.10  设计MPI并行程序时的注意事项  第4章  从MPI走向云计算  4.1  MPI没有分布式文件系统支持  4.2  MPI无法应对节点的失效  4.3  假如用MPI来构建云计算系统第2篇  云计算的关键技术   第5章  Map/Reduce是云计算的选择吗  5.1  Map/Reduce跨越50年的历史  5.2  实现Map/Reduce的C语言实例  5.3  采用MPI实现并行化的Map/Reduce功能  第6章  Hadoop技术  6.1  Hadoop与MPI在数据处理上的对比   6.2  Hadoop的主从式结构  6.2.1  主从式文件系统HDFS  6.2.2  主从式计算系统Map/Reduce   6.2.3  文件分块策略分析    6.3  Hadoop文件系统HDFS的前辈GFS   6.4  构建云文件系统需要解决的关键问题  6.5  云计算不相信节点服务器  6.6  揭密云计算架构下的典型服务器——Google服务器     6.6.1  Google服务器概述    6.6.2  揭开Google服务器的神秘面纱4   6.6.3  Google服务器的配置情况    6.6.4  Google服务器的性能评测   第7章  Hadoop环境的建立  7.1  Hadoop配置环境  7.2  配置ssh实现Hadoop节点间用户的无密码访问  7.3  JDK的安装配置  7.4  Hadoop的安装配置  7.5  Hadoop中的Hello World    7.6  C语言程序在Hadoop上运行  第8章  动手做自己的云计算V0.01系统     8.1  系统总体分析    8.1.1  系统架构    8.1.2  文件分布式存储流程    8.1.3  计算与存储的整合流程    8.2  管理节点程序设计与分析   8.2.1  管理节点服务器程序主函数    8.2.2  管理节点各线程函数的设计    8.2.3  主服务器中其他函数的设计   8.3  子节点程序分析  8.3.1  子节点主函数  8.3.2  子节点各线程函数设计    8.4  客户端API设计     8.4.1  客户端文件的存储    8.4.2  客户端启动子节点计算    8.4.3  客户端应用的简单实例  8.5  客户端应用开发实例第3篇  云计算应用实例   第9章  基于不可信服务器节点的云计算基础架构  9.1  云计算基础架构的应用场景     9.2  云计算基础架构    9.3  基于单向指针目录映射的分层用户隔离    9.4  云文件系统的物理存储管理   9.5  云存储的安全级别划分     9.6  计算和存储的整合  9.7  计算和存储的迁移    9.8  任务的可并行性和分类分析   9.9  简化的服务器级粗粒度计算和存储资源分配方案  9.10  数据的云计算系统之旅    第10章  云计算与智能  10.1  云计算的智能与人类智能的比较  10.2  云计算提升终端智能   10.3  云计算智能与Monte Carlo方法    10.4  云计算时代不确定性智能算法示例——模拟谐振子算法  10.4.1  简谐振动的描述   10.4.2  模拟谐振子算法描述     10.4.3  模拟谐振子算法流程    10.4.4  模拟谐振子算法分析  10.4.5  模拟谐振子算法应用于旅行商问题  10.4.6  模拟谐振子算法在连续和非线性优化问题中的应用   10.4.7  模拟谐振子算法的隐含并行性  10.5  云计算中的人工智能  第11章  云计算企业之间的竞争性分析    11.1  云计算技术流派分析  11.1.1  存储型——数据密集云计算平台  11.1.2  计算型——计算密集云计算平台    11.1.3  综合云计算平台    11.2  国际云计算公司分析  11.2.1  云计算技术的提出者Google  11.2.2  “端”的霸主微软  11.2.3  蓝色巨人IBM的蓝云   11.2.4  云计算的市场先行者Amazon公司  11.2.5  Salesforce从SaaS走入云中  11.2.6  热爱白皮书的Sun    11.2.7  EMC云计算的核心是虚拟化     11.2.8  渔翁得利的思科  11.3  国内云计算公司分析  11.3.1  拥有基础设施的世纪互联    11.3.2  阿里巴巴下决心入云   11.3.3  中国移动的BigCloud     11.3.4  国产旗帜友友云计算平台  11.3.5  曙光高性能与云计算  11.3.6  展览也要云  11.4  开源云计算平台分析  11.5  国际国内云计算平台提供商对比研究  11.6  产业综合分析    11.6.1  云计算与网络设备商的关系  11.6.2  云计算与移动通信运营商的关系   11.6.3  云计算与服务器提供商的关系    11.6.4  云计算与应用程序开发商的关系后记  未来的计算——不确定性和隐含并行计算 附录  计算力的标准Linpack测试详细指南参考文献

编辑推荐

《云计算的关键技术与应用实例》：引爆云计算热潮《走进云计算》作者最新力作揭示云计算的关键技术数十位顶尖专家强力推荐给出具体的模型化实现实例和解决方法

前言

从并行计算、网格计算到云计算的发展历程，是一个技术从阳春白雪向下里巴人的发展过程。云计算使计算机上了云端，却让并行技术走进了人们的生活。云计算从定位上讲一开始就是面向所有普通用户的，所以云计算概念的提出马上得到了一线IT企业和大众的关注，使其成为一种改变现有计算机使用模式的革命性技术。Amazon的云计算系统在市场上的成功更是给了大家强大的信心。云计算的发展到底到了什么阶段？我们以王国维在他的《人间词话》中的一段话来描述，“古今之成大事业、大学问者，必经过三种之境界”。“昨夜西风凋碧树，独上高楼，望尽天涯路”，此第一境也。“衣带渐宽终不悔，为伊消得人憔悴”，此第二境也。“众里寻他千百度，蓦然回首，那人正在灯火阑珊处”，此第三境也。云计算发展到今天，我们认为应该还处于第一境界：望尽天涯路。前路漫漫，云计算最后将走向何方我们还不得而知，在技术上“你方唱罢我登场”，最后谁会成功我们也不得而知，现在正是需要大家开始以“衣带渐宽终不悔，为伊消得人憔悴”的精神去找寻云计算的“天涯之路”，相信终会到达“众里寻他千百度，蓦然回首，那人正在灯火阑珊处”的境界。云计算概念被提出以后并行计算技术和虚拟化技术成为其核心支撑技术，云计算将按需计算带给了普通的用户，也使并行计算成为普通用户方便使用的技术，而且并行计算中的“单一系统映像技术”实际也反映系统虚拟化的思想，所以从广义来看并行计算技术本身可能包括虚拟化技术，因而并行计算技术是云计算技术中的一个相当重要的技术基础。云计算及高性能计算的逐步普及使并行程序设计成为许多程序设计人员不可避免的一项艰巨工作，特别是云计算、个人高性能计算机（PHPC）等技术的深入发展，使许多技术人员开始从单机工作模式向并行计算模式转变。由于并行程序设计现在还没有一个很好的集成开发平台提供方便的组件给设计者使用，几乎所有的设计工作都需要从底层自己完成，因此并行程序的设计往往使很多程序设计者望而却步。MPI作为并行程序设计事实上的标准被广泛地应用于各个领域，不少企业及研究机构逐步认识到。MPI的重要性。

媒体关注与评论

“云计算技术”从各种学术解释和争论的大雅之堂走入“寻常百姓家”，是自王鹏博士的《云计算的关键技术和应用实例》开始。　　——《中国贸易报社》副社长刘德辉目前，几乎所有与IT相关的个人和组织都在探讨“云计算”这个新兴的行业热点，各大IT厂商和学术界纷纷提出自己的观点、理论、技术和产品。初次涉及这一领域的读者可能会有茫然无措的感觉，所以有必要从最基本的一些概念、知识和实例开始普及。本书为读者打开了一扇通往“云计算”的便捷之门。　　——EMC大中华区技术解决方案中心教育推广经理全球网络存储工业协会(中国)教育委员会副主席王永康本书将云计算以务实的方式展示到我们面前。特别是在书里提到的“云计算不信任节点服务器”的观点，以不稳定的计算节点构建出稳定的云计算系统，从理论上让云计算摆脱了高昂的硬件费用问题，这对云计算的普及、让云计算进入实用化提供了一条新的道路。“旧时王谢堂前燕，飞入寻常百姓家”，相信本书的出版必将推动云计算服务在实用化上的进程。　　——《软件报》专栏撰稿人、应用服务器专家黄华峰王博士的《云计算的关键技术与应用实例》一书，从技术架构上给出了自己的云计算实践和解决方案，使技术人员能够了解云计算的背后故事和技术细节；企业用户阅读本书可以更好地了解云计算的概念、云计算对现有技术架构所带来的影响、如何使自己私有企业技术架构平滑地过渡到云计算架构。　　——企业应用资深技术顾问、SaaS架构开发设计资深技术顾问邢波涛本书高屋建瓴地从并行计算走向云计算，给我们在云计算的实施应用中指明了方向。王鹏博士在Google的云计算方面有深入的研究，使普通读者学习云计算有了一个好的切入点。　　——企业云计算网云计算中心强大的网络计算能力使得同方云终端作为网络计算终端成为可能。　　——清华同方华北区销售经理秦川

章节摘录

插图：（1）非阻塞数据发送函数：int MPI-Isend（void buf,int count，MPI-Datatype datatype，int dest，int tag，MPI-Comm comm，MPI-Request request）。参数描述：buf为数据发送缓冲区；datatype为MPI定义的数据类型；dest为目标进程号；tag为消息标志；comm为通信域；request为非阻塞数据传输对象，在程序中用MPI Request类型定义。该函数调用后启动数据发送并且不等待数据发送成功而立即返回，非阻塞数据发送函比阻塞数据发送函数只多一个MPI-Request参数，用于检测数据非阻塞数据发送的完成状态。（2）非阻塞数据接收函数：int MPI Irecv（void buf,int count，MPI-Datatype datatype，int source，int tag，MPI-Comm comm，MPI_Request request）。参数描述：buf为数据接收缓冲区；datatype为MPI定义的数据类型；source为数据来源的进程号；tag为消息标志；comm为通信域；request为非阻塞数据传输对象，在程序中用MPI类型定义 Request该函数调用后启动数据接收并且不等待数据发送成功而立即返回。（3）等待非阻塞数据传输完成：int MPI-Wait（MPI-Request*request，MPI-Status*status）。参数描述：request为非阻塞数据传输对象，status为返回状态。该函数调用后直到数据传输完成后才返回，并释放该通信对象，调用该函数后数据传输一定是完成了的，所以我们在使用数据缓冲区前可以调用该函数来保证数据已成功传输。

图书封面

---

 云计算的关键技术与应用实例下载 更多精彩书评

---