包邮！Hadoop权威指南(第3版) hadoop技术内幕 实战权威指南书籍 hadoop数据存储与分析 hadoop数据存储与分析 计算机教材.

B2

基本信息

书名：Hadoop权威指南(第3版)  

定价：(咨询特价)

作者： (美)Tom White   

译者： 华东师范大学数据科学与工程学院

出版社：清华大学出版社

ISBN(咨询特价)

出版日期：2014 年11月1

开本：16开

版次：3-1

内容简介

准备好释放数据的强大潜能了吗？借助于这本《hadoop权威指南》，你将学习如何使用apache hadoop构建和维护稳定性高、伸缩性强的分布式系统。本书是为程序员写的，可帮助他们分析任何大小的数据集。本书同时也是为管理员写的，帮助他们了解如何设置和运行hadoop集群。

《hadoop权威指南(第3版)》通过丰富的案例学习来解释hadoop的幕后机理，阐述了hadoop如何解决现实生活中的具体问题。第3版覆盖hadoop的最新动态，包括新增的mapreduce api，以及mapreduce 2及其灵活性更强的执行模型（yarn）。

作译者

Tom White 

数学王子&Hadoop专家。身为Apache Hadoop提交者八年之久，Apache软件基金会成员之一。全球知名云计算公司Cloudera的软件工程师。Tom拥有英国桥大学数学学士学位和利兹大学科学哲学硕士学位。

目  录

《hadoop权威指南(第3版)》 

第1章 初识hadoop 1 

1.1 数据！数据！ 1 

1.2 数据的存储与分析 3 

1.3 相较于其他系统的优势 4 

1.3.1 关系型数据库管理系统 5 

1.3.2 网格计算 7 

1.3.3 志愿计算 9 

1.4 hadoop发展简史 10 

1.5 apache hadoop和hadoop生态系统 14 

1.6 hadoop的发行版本 15 

1.6.1 本含的内容 16 

1.6.2 兼容性 17 

第2章 关于mapreduce 19 

2.1 气象数据集 19 

2.2 使用unix工具来分析数据 21 

2.3 使用hadoop来分析数据 23 

2.3.1 map和reduce 23 

2.3.2 java mapreduce 24 

2.4 横向扩展 33 

2.4.1 数据流 34 

2.4.2 combiner函数 37 

2.4.3 运行分布式的mapreduce作业 39 

2.5 hadoop streaming 40 

2.5.1 ruby版本 40 

2.5.2 python版本 43 

2.6 hadoop pipes 44 

第3章 hadoop分布式文件系统 49 

3.1 hdfs的设计 49 

3.2 hdfs的概念 51 

3.2.1 数据块 51 

3.2.2 namenode和datanode 52 

3.2.3 联邦hdfs 53 

3.2.4 hdfs的高可用性 54 

3.3 命令行接口 56 

3.4 hadoop文件系统 58 

3.5 java接口 62 

3.5.1 从hadoop url读取数据 63 

3.5.2 通过filesystem api读取数据 64 

3.5.3 写入数据 68 

3.5.4 目录 70 

3.5.5 查询文件系统 70 

3.5.6 删除数据 75 

3.6 数据流 75 

3.6.1 剖析文件读取 75 

3.6.2 剖析文件写入 78 

3.6.3 一致模型 81 

3.7 通过flume和sqoop导入数据 83 

3.8 通过distcp并行复制 84 

3.9 hadoop存档 86 

3.9.1 使用hadoop存档工具 86 

3.9.2 不足 88 

第4章 hadoop的i/o操作 89 

4.1 数据完整性 89 

4.1.1 hdfs的数据完整性 89 

4.1.2 localfilesystem 91 

4.1.3 checksumfilesystem 91 

4.2 压缩 92 

4.2.1 codec 93 

4.2.2 压缩和输入分片 98 

4.2.3 在mapreduce中使用压缩 99 

4.3 序列化 102 

4.3.1 writable接口 103 

4.3.2 writable类 105 

4.3.3 实现定制的writable集合 114 

4.3 序列化框架 118 

4.4 avro 121 

4.4.1 avro数据类型和模式 122 

4.4.2 内存中的序列化和反序列化 126 

4.4.3 avro数据文件 129 

4.4.4 互操作性 130 

4.4.5 模式的解析 133 

4.4.6 排列顺序 135 

4.4.7 关于avro mapreduce 137 

4.4.8 使用avro mapreduce进行排序 141 

4.4.9 其他语言的avro mapreduce 143 

4.5 基于文件的数据结构 143 

4.5.1 关于sequencefile 143 

4.5.2 关于mapfile 151 

第5章 mapreduce应用开发 157 

5.1 用于配置的api 157 

5.1.1 资源合并 159 

5.1.2 可变的扩展 160 

5.2 配置开发环境 160 

5.2.1 管理配置 162 

5.2.2 辅助类genericoptionsparser，tool和toolrunner 165 

5.3 用mrunit来写单测试 168 

5.3.1 关于mapper 168 

5.3.2 关于reducer 170 

5.4 本地运行测试数据 171 

5.4.1 在本地作业运行器上运行作业 171 

5.4.2 测试驱动程序 175 

5.5 在集群上运行 176 

5.5.1 打包作业 177 

5.5.2 启动作业 179 

5.5.3 mapreduce的web界面 181 

5.5.4 获取结果 184 

5.5.5 作业调试 185 

5.5.6 hadoop日志 190 

5.5.7 远程调试 192 

5.6 作业调优 193 

5.7 mapreduce的工作流 196 

5.7.1 将问题分解成mapreduce作业 197 

5.7.2 关于jobcontrol 198 

5.7.3 关于apache oozie 199 

第6章 mapreduce的工作机制 205 

6.1 剖析mapreduce作业运行机制 205 

6.1.1 经典的mapreduce (mapreduce 1) 206 

6.1.2 yarn (mapreduce 2) 213 

6.2 失败 219 

6.2.1 经典mapreduce中的失败 219 

6.2.2 yarn中的失败 222 

6.3 作业的调度 224 

6.3.1 公平调度器 225 

6.3.2 容量调度器 225 

6.4 shuffle和排序 226 

6.4.1 map端 226 

6.4.2 reduce端 228 

6.4.3 配置调优 230 

6.5 任务的执行 232 

6.5.1 任务执行环境 232 

6.5.2 推测执行 233 

6.5.3 关于outputcommitters 235 

6.5.4 任务jvm重用 237 

6.5.5 跳过坏记录 238 

第7章 mapreduce的类型与格式 241 

7.1 mapreduce的类型 241 

7.1.1 默认的mapreduce作业 245 

7.1.2 默认的streaming作业 249 

7.2 输入格式 252 

7.2.1 输入分片与记录 252 

7.2.2 文本输入 264 

7.2.3 二进制输入 268 

7.2.4 多个输入 269 

7.2.5 数据库输入(和输出) 270 

7.3 输出格式 271 

7.3.1 文本输出 271 

7.3.2 二进制输出 272 

7.3.3 多个输出 272 

7.3.4 延迟输出 277 

7.3.5 数据库输出 277 

第8章 mapreduce的特性 279 

8.1 计数器 279 

8.1.1 内置计数器 279 

8.1.2 用户定义的java计数器 284 

8.1.3 用户定义的streaming计数器 289 

8.2 排序 289 

8.2.1 准备 290 

8.2.2 部分排序 291 

8.2.3 全排序 295 

8.2.4 辅助排序 299 

8.3 连接 305 

8.3.1 map端连接 307 

8.3.2 reduce端连接 307 

8.4 边数据分布 311 

8.4.1 利用jobconf来配置作业 311 

8.4.2 分布式缓存 311 

8.5 mapreduce库类 318 

第9章 构建hadoop集群 321 

9.1 集群规范 321 

9.2 集群的构建和安装 325 

9.2.1 安装java 326 

9.2.2 创建hadoop用户 326 

9.2.3 安装hadoop 326 

9.2.4 测试安装 327 

9.3 ssh配置 327 

9.4 hadoop配置 328 

9.4.1 配置管理 329 

9.4.2 环境设置 332 

9.4.3 hadoop守护进程的关键属性 336 

9.4.4 hadoop守护进程的地址和端口 341 

9.4.5 hadoop的其他属性 343 

9.4.6 创建用户帐号 346 

9.5 yarn配置 346 

9.5.1 yarn守护进程的重要属性 347 

9.5.2 yarn守护进程的地址和端口 350 

9.6 安全性 352 

9.6.1 kerberos和hadoop 353 

9.6.2 委托令牌 355 

9.6.3 其他安全性改进 356 

9.7 利用基准评测程序测试hadoop集群 358 

9.7.1 hadoop基准评测程序 358 

9.7.2 用户作业 361 

9.8 云端的hadoop 361 

第10章 管理hadoop 367 

10.1 hdfs 367 

10.1.1 永久性数据结构 367 

10.1.2 安全模式 373 

10.1.3 日志审计 375 

10.1.4 工具 375 

10.2 监控 380 

10.2.1 日志 381 

10.2.2 度量 382 

10.2.3 java管理扩展(jmx) 385 

10.3 维护 387 

10.3.1 日常管理过程 387 

10.3.2 委任和解除节点 389 

10.3.3 升级 392 

第11章 关于pig 397 

11.1 安装与运行pig 398 

11.1.1 执行类型 399 

11.1.2 运行pig程序 400 

11.1.3 grunt 401 

11.1.4 pig latin编辑器 401 

11.2 示例 402 

11.3 与数据库进行比较 405 

11.4 pig latin 406 

11.4.1 结构 407 

11.4.2 语句 408 

11.4.3 表达式 413 

11.4.4 类型 414 

11.4.5 模式 415 

11.4.6 函数 420 

11.4.7 宏 422 

11.5 用户自定义函数 423 

11.5.1 过滤udf 423 

11.5.2 计算udf 427 

11.5.3 加载udf 429 

11.6 数据处理操作 432 

11.6.1 数据的加载和存储 432 

11.6.2 数据的过滤 433 

11.6.3 数据的分组与连接 436 

11.6.4 数据的排序 441 

11.6.5 数据的组合和切分 442 

11.7 pig实战 443 

11.7.1 并行处理 443 

11.7.2 参数代换 444 

第12章 关于hive 447 

12.1 安装hive 448 

12.2 示例 450 

12.3 运行hive 451 

12.3.1 配置hive 452 

12.3.2 hive服务 454 

12.3.3 metastore 456 

12.4 hive与传统数据库相比 458 

12.4.1 读时模式vs.写时模式 458 

12.4.2 更新、事务和索引 459 

12.5 hiveql 460 

12.5.1 数据类型 461 

12.5.2 操作与函数 463 

12.6 表 464 

12.6.1 托管表和外部表 465 

12.6.2 分区和桶 466 

12.6.3 存储格式 471 

12.6.4 导入数据 477 

12.6.5 表的修改 479 

12.6.6 表的丢弃 480 

12.7 查询数据 480 

12.7.1 排序和聚集 480 

12.7.2 mapreduce脚本 481 

12.7.3 连接 482 

12.7.4 子查询 486 

12.7.5 视图 486 

12.8 用户定义函数 488 

12.8.1 写udf 489 

12.8.2 写udaf 491 

第13章 关于hbase 497 

13.1 hbase基础 497 

13.2 概念 498 

13.3.1 数据模型的“旋风之旅” 498 

13.3.2 实现 500 

13.3 安装 503 

13.4 客户端 506 

13.4.1 java 506 

13.4.2 avro、rest和thrift 510 

13.5 示例 511 

13.5.1 模式 511 

13.5.2 加载数据 512 

13.5.3 web查询 516 

13.6 hbase和rdbms的比较 519 

13.6.1 成功的服务 520 

13.6.2 hbase 521 

13.6.3 实例：hbase在streamy.com的使用 522 

13.7 praxis 524 

13.7.1 版本 524 

13.7.2 hdfs 525 

13.7.3 用户界面 526 

13.7.4 度量 526 

13.7.5 模式的设计 526 

13.7.6 计数器 527 

13.7.7 批量加载 528 

第14章 关于zookeeper 529 

14.1 安装和运行zookeeper 530 

14.2 示例 532 

14.2.1 zookeeper中的组成员关系 533 

14.2.2 创建组 534 

14.2.3 加入组 536 

14.2.4 列出组成员 537 

14.2.5 删除组 539 

14.3 zookeeper服务 540 

14.3.1 数据模型 540 

14.3.2 操作 543 

14.3.3 实现 548 

14.3.4 一致性 549 

14.3.5 会话 552 

14.3.6 状态 554 

14.4 使用zookeeper来构建应用 555 

14.4.1 配置服务 555 

14.4.2 可复原的zookeeper应用 559 

14.4.3 锁服务 563 

14.4.4 更多分布式数据结构和协议 565 

14.5 生产环境中的zookeeper 567 

14.5.1 可恢复性和性能 567 

14.5.2 配置 568 

第15章 关于sqoop 571 

15.1 获取sqoop 571 

15.2 sqoop连接器 573 

15.3 一个导入的例子 573 

15.4 生成代码 577 

15.5 深入了解数据库导入 578 

15.5.1 导入控制 580 

15.5.2 导入和一致性 581 

15.5.3 直接模式导入 581 

15.6 使用导入的数据 581 

15.7 导入大对象 585 

15.8 执行导出 587 

15.9 深入了解导出功能 589 

15.9.1 导出与事务 590 

15.9.2 导出和sequencefile 591 

第16章 实例学习 593 

16.1 hadoop 在last.fm的应用 593 

16.1.1 last.fm：社会音乐史上的 593 

16.1.2 hadoop在last.fm中的应用 593 

16.1.3 用hadoop制作图表 594 

16.1.4 track statistics程序 595 

16.1.5 总结 602 

16.2 hadoop和hive在facebook的应用 603 

16.2.1 hadoop在facebook的使用 603 

16.2.2 虚构的使用样例 606 

16.2.3 hive 609 

16.2.4 存在的问题与未来工作计划 613 

16.3 nutch搜索引擎 615 

16.3.1 背景介绍 615 

16.3.2 数据结构 616 

16.3.3 nutch系统利用hadoop进行数据处理的精选实例 619 

16.3.4 总结 630 

16.4 rackspace的日志处理 631 

16.4.1 要求/问题 631 

16.4.2 简史 632 

16.4.3 选择hadoop 632 

16.4.4 收集和存储 632 

16.4.5 对日志的mapreduce处理 634 

16.5 关于cascading 640 

16.5.1 字段、组和管道 641 

16.5.2 操作 644 

16.5.3 tap、scheme和flow 645 

16.5.4 cascading实战 646 

16.5.5 灵活性 650 

16.5.6 hadoop和cascading在sharethis的应用 650 

16.5.7 总结 655 

16.6 apache hadoop上万亿数量级排序 655 

16.7 用pig和wukong探索10亿数量级边的网络图 659 

16.7.1 社区判断 661 

16.7.2 每个人都在和我说话：twitter回复关系图 661 

16.7.3 对称链接 664 

16.7.4 社区提取 666 

附录a 安装apache hadoop 669 

附录b 关于cdh 675 

附录c 准备ncdc气象数据 677