大数据架构师指南
出版日期:2016-6-1
ISBN:9787302435162
作者:朱进云,陈坚,王德政
页数:271页
作者简介
如果你是一名IT工程师，CTO希望你在一周内提交一份公司未来IT系统基础架构的初步建议；
如果你是一位IT营销人员，客户需要你在一周内向他汇报未来大数据系统的大致技术方向；
……
在这个信息严重过剩的时代，一周内从浩渺的技术细节的海洋中抓住关键的技术脉络，并进一步提出有一定理论依据的技术思考，这几乎是不可能完成的任务。
您是否想过阅读一本关于大数据的图书帮助解决如上问题？
浩如烟海的大数据领域图书可以大致归纳为三类：第一类是描述大数据的应用前景与社会意义；第二类是研讨大数据作为一个大型IT系统的系统架构与技术架构；第三类是研讨大数据领域的具体技术，例如HADOOP相关的编程等。
对于需要快速掌握大数据系统技术脉络，或者是需要对未来IT系统做系统思考的技术工作者来说，最需要的是第二类图书所提供的系统化知识。但目前业界大数据相关的书籍与资料，大多是第一类与第三类，第二类非常稀少，以至于某些希望开展大数据课程教学的高校难以找到合适的教材与参考数据。通过阅读本书，您将可以迅速建立大数据技术架构相关的知识与脉络，而不是迷失在浩如烟海的知识细节中。
本书的目的就是为了帮助读者在最短的时间内，系统地把握大数据相关的技术框架，建立系统架构级别的技术思考能力与原则。本书适用于企业的IT与大数据的从业人员，IT与大数据相关的销售人员，企业的首席技术官（CTO）、首席信息官（CIO），由于本书在大数据知识具备系统性，也可以作为高校大数据方面课程的教材或辅导书。
书籍目录
第一部分 大数据架构师入门
第1章 大数据概述 3
1.1 什么是大数据 4
1.2 大数据的本质 6
1.3 大数据技术当前状态 8
1.4 大数据的技术发展趋势 11
第2章 大数据项目常见场景 13
2.1 实验型部署场景 14
2.2 中小型部署场景 16
2.3 大型部署场景 19
第3章 大数据方案关键因素 23
3.1 数据存储规模与数据类型 24
3.2 数据来源与数据质量 25
3.3 业务特征 26
3.4 经济可行性 27
3.5 运维管理要求 28
3.6 安全性要求 29
3.7 部署要求 31
3.8 系统边界 32
3.9 约束条件 34
3.10 要点回顾 34
第二部分 大数据架构师基础
第4章 Hadoop基础组件 39
4.1 Hadoop简介 40
4.2 Hadoop版本演进 41
4.3 Hadoop2.0生态系统简介 42
4.4 Hadoop分布式文件系统HDFS 43
4.5 Hadoop统一资源管理框架YARN 48
4.6 Hadoop分布式计算框架MapReduce 52
4.7 Hadoop分布式集群管理系统ZooKeeper 57
第5章 Hadoop其他常用组件 61
5.1 Hadoop数据仓库工具Hive 62
5.2 Hadoop分布式数据库 HBase 65
5.3 Hadoop实时流处理引擎 Storm 70
5.4 Hadoop交互式查询引擎 Impala 74
5.5 其他常用组件 78
第6章 Spark内存计算框架 83
6.1 内存计算与Spark 84
6.2 Spark的主要概念 86
6.3 Spark核心组件介绍 96
6.4 Spark与Hadoop之间的关系 100
6.5 要点回顾 104
第7章大数据中间件层 105
7.1 中间件层简介 106
7.2 中间件层产品介绍 107
7.3 中间件层的应用 121
7.4 中间件层的发展 124
7.5 要点回顾 128
第8章大数据分析 129
8.1 数据时代 131
8.2 先进分析 133
8.3 架构与平台 136
8.4 数据分析流程 140
8.5 要点回顾 143
第9章可视化技术 145
9.1 可视化技术引言 146
9.2 什么是数据可视化 147
9.3 数据可视化设计 151
9.4 数据可视化的发展趋势 160
9.5 要点回顾 161
第10章大数据安全 163
10.1 安全体系 164
10.2 大数据系统安全 168
10.3 要点回顾 180
第11章大数据管理 181
11.1 数据管理的范围和定义 182
11.2 开源软件的管理能力 183
11.3 国内主流管理 187
11.4 大数据管理展望 195
11.5 要点回顾 195
第三部分大数据架构师实践
第12章大数据项目实践 199
12.1 大数据项目架构关键步骤 201
12.2 架构师实践思考 213
第13章大数据部署实践 217
13.1 中兴通讯DAP大数据平台功能和架构 218
13.2 DAP平台特点 219
13.3 某银行成功案例 220
第四部分 大数据架构师拓展
第14章分布式系统与大数据的关系 229
14.1 分布式系统概述 230
14.2 分布式系统关键协议和算法概述 237
14.3 分布式系统和大数据 241
第 15 章数据库系统与大数据的关系 245
15.1 数据库系统的历史 246
15.2 各类系统求同存异 258
15.3 大数据的发展展望 259
第16章云计算与大数据的关系 261
16.1 虚拟化概述 262
16.2 OpenStack云管理架构实现 267
16.3 大数据基于云计算IAAS部署的探讨 274
后记 277
内容概要
陈坚，高级工程师，1995年加入中兴通讯，现任中兴通讯中心研究院副院长，先后主持会议电视、核心网、统一网管平台、大数据平台系统架构设计及经营工作，多次获得国家、省市科技进步奖。具有近20年的电信行业从业经验，积累了深厚的技术专业知识和丰富的管理经验。
发布书评
精彩书评 (总计11条)
-
人类文明的发展，总是伴随着技术的发展。例如，车轮的发明提高了人类交通与运输的效率，电报电话的发明提高了人类通信效率，计算机的发明提高了人类的信息处理能力。这些技术急剧地提升社会生产效率，增加社会总财富，提升人类的文明等级。 在过去的十年里，智能终端和移动互联网的快速发展深刻地影响和改变着人类社会。企业越来越依赖数据分析来指导自己的产品与服务改进，数据和数据处理能力成为企业在新的市场环境中生存、发展的关键，人类正在从IT时代走向DT(Data Technology)时代。 在传统行业里，各行业的智慧生成都是依赖各行业的专家。但行业专家有两方面的局限性：其一，人类专家的能力与他在行业内的经验积累密切相关，误判的概率相当高；其二，人类专家对信息的处理能力非常有限，所以需通过层层的流程与管理进行信息收集、处理与决策。如上的局限性，决定了人类专家在现实生产环境中很难利用海量数据提升生产力。 自16世纪以来，大致发生了5次科学技术革命。其一是现代物理学的诞生，其二是以蒸汽机为代表的机械革命，其三是电力与运输革命，其四是相对论与量子论的诞生，其五是电子与信息革命。 当前世界处于第五次科技革命的过程中，其中蕴含着互联网、物联网、云计算、大数据等众多的创新机会。 其中，大数据作为人类处理海量信息的革命性技术，将突破人类专家数据处理能力的局限，带来社会生产力的普遍提升。中国、美国、英国、欧盟、日本、韩国等国政府越来越重视大数据所产生的价值，鼓励使用大数据以推动社会进步，在国家层面支持政府数据的公共资源化，并发布促进大数据技术发展的政策纲要。 例如，2014年5月美国总统行政办公室发布《大数据：抓住机遇、保存价值》的政策报告，2015年8月31日中国国务院发布《促进大数据发展行动纲要》。其中，中国的《促进大数据发展行动纲要》不仅政策力度大，而且在应用与落地上还非常细致具体。在纲要中提出5大目标、3大任务、10 大工程，以及7个政策机制，在国家层面推动大数据的应用与落地。这是一个数据爆发的时代，移动物联网、智能终端、各类传感器的普及，以及随时随地的链接，促使全球数据以指数级增长，预计2020年全球数据规模将达到44ZB，相较2013年，全球数据规模将增长10倍，相当于每两年翻一番。按照用户数计算，中国无论是互联网用户还是移动互联网用户，其规模都已经是全球第一，其中宽带用户5.8亿，互联网用户6.5亿，手机用户13亿。按照数据占比来看，2013年中国在全球数据占比13%，预计2020年将上升到18%，届时中国将超越美国，数据拥有量位于世界第一。大数据通过数据分析与挖掘，发现知识，生成智慧，并创造价值。大数据的应用，将提升人类生产与管理活动的准确性，减少传统方式下的“试错”成本，进而提升社会的总生产效率。未来，大数据不仅是一项海量数据处理技术，更是一项全面影响人类生活的基础技术。就好比文字这样的伟大发明一样，大数据将会融入人类所有领域与所有活动，并成为影响国家竞争力的重要因素。中兴通讯对大数据的知识与工程经验进行系统性的概述，正好契合了当前大数据的建设浪潮，弥补了此类书籍的空白，为促进大数据的发展与应用提供了宝贵的经验。 -
近些年大数据的概念很火爆，从不同渠道也听说了大数据的应用，但一直没能系统的阅读和熟悉大数据相关的知识和架构，听了朋友的推荐，这本书不仅详细的描述了大数据相关的技术知识，通过具体实际的案例，引入的场景，存在的价值及利益的增长点很好的描述了大数据的系统架构，值得一读 -
很不错的一本书，把主流的大数据技术都包含进去了，基本上靠一本书就把大部分大数据技术都搞明白了，也有一定深度，而且还有大企业的实际案例，内容上还是很有些真材实料的，不像有些大数据的书只是泛泛而谈，是一本靠谱的技术书籍，写的也比较深入浅出，很对我这样的IT技术人员的胃口，值得放在手边，经常翻翻。
精彩短评 (总计10条)
-
干货 -
又是小明的呼市。作为教材，有些论断太武断，有些概念也没讲清，作为参考，不够详细。看个大概吧。 -
由浅入深，逐层递进，深入浅出，第一次发现大数据可以写得这样精妙有趣而又不失深度。 -
这本书写的通俗易懂，内容详实，举例很多，内容也相对很全面 -
作者太厉害了，现在越来越多的人关注大数据，但是比较接地气的介绍大数据方面的书不多，这本书非常不错，能够把非常复杂的事讲的非常通俗易懂，对工作非常有帮助，而且书中也有大量的实例参考，有助于不论是初学者还是专业人士参考使用 -
表示不能说读过，内容大同小异，介绍大数据，介绍技术，介绍发展。。。仍未明白什么是大数据，成为大数据架构师需要什么。。。 -
比较全面 -
如日中天的华为衬托出巨大中华的差距，没想到这本大数据架构的书出自中兴。入门重点论述环境和趋势，引出大数据的业务与落地需求，基础论述hadoop为主的生态体系，构建、分析、可视化，存在的缺陷以及可能的产品机会，中间件、可视化、安全与管理，顺便推销了下中兴的DAP解决方案。实践和拓展讲了应用场景和大数据相关概念的异同。浮光掠影、蜻蜓点水，即缺少真知灼见和洞察，又缺少实践的操作与落地，只能说一般。 -
书不错，涵盖了大数据各个方面，受益非浅。 -
作者太牛了，能把这么严肃枯燥的事讲的生动引人入胜，不需要再自己摸着石头过河，我还在反复看，并推荐给身边的人。
对于工作有重要的帮助，书中有大量的案例面非常使用，有一些直接切中当前问题，很多人都推荐，有一些问题可能自己工作时找不到答案，从书中就可以得到解答。