北京大数据培训课程

l  规模化思考：介绍Hadoop和大规模数据

你知道你的数据很大--你发现了Hadoop。与大规模数据打交道的时候，你该有什么考量？本部分将涉及与数据一同成长所面临的普遍挑战和解决方案。

l  MapReduce和HDFS

这些工具的核心功能使你可以存储、处理和分析大规模数据。本部分将揭开其技术原理的面纱。您将了解到它们是如何组合相互匹配，来提供可扩展的强大的系统。

实验：开始使用Hadoop

l  Hadoop生态系统

介绍Hadoop周边的其他项目，它们完善了现有的大规模数据处理工具的生态系统。

l  The Hadoop MapReduce API

学习如何开始编写针对Hadoop"s API的程序

l  MapReduce的算法导论

MapReduce的程序编写要求以一种新方法分析问题。本部分将展示一些常用功能如何被表示为MapReduce管道的一部份。

实验：MapReduce程序编写

现在您已熟悉一些工具并初步了解如何编写MapReduce程序，这项工作将挑战您执行一项处理大规模数据时的常见任务-建立倒序索引。更重要的是，教您掌握编写更有趣的数据处理任务所需的基本技能。

l  Hadoop部署

一旦您了解Hadoop的基础使用和MapReduce应用程序的编写，您就必须知道如何为您自己的处理工作启动并运行Hadoop。

本部分课程结束前，我们会确保您了解如何在您自己的数据中心服务器上或Amazon"s EC2上部署Hadoop。

第二部分：中级知识（第2天）

本部分课程建立在基础课程之上，适合那些已经熟悉Hadoop基础知识和MapReduce编程模型的人员。课程的重点是将数据导入Hadoop和建立数据处理管道。并将讨论更深入的主题，如Hive和Pig，并演示如何有效使用。

l  利用Hadoop扩展现有系统

我们先以普遍的眼光看看数据系统。Hadoop很少取代现有的基础设施，而是**提供一个可扩展的批处理系统让您能更有效处理数据。我们将帮助您了解这一切如何组合在一起。

l  数据处理管道*佳实践

为Hadoop能压缩大容量数据，首先您需要将这些数据导入Hadoop。我们将帮助您了解如何从各种渠道把不同类型数据导入Hadoop以便作进一步分析。

运用工具导入现有数据库

运用工具将数据从RDBMS中导入Hadoop，以便直接使用MapReduce的，Hive或Pig处理数据。

l  Pig导论

Pig是一种编写大规模的数据分析程序的高级语言。Pig用简化的处理语言揭示了MapReduce的普遍构建。

使用Pig

**实验，我们将重新审视一些常见任务，看看如何使用Pig来完成。

l  Hive导论 -- Hadoop的数据仓库

Hive是构建在Hadoop上的强大的数据仓库应用程序，让您使用SQL来访问数据。

Working with Hive

如何使用Hive，涉及数据导入、表格创建及查询。

第三部分：调试与优化（第3天）

本部分课程讲授先进的调试和优化MapReduce程序的技能。学员将更深入研究Hadoop API，并学习能帮助Hadoop程序和其它系统更紧密地集成、更高的并行处理能力的编程工具。

l  调试MapReduce程序

在分布式环境下调试是有挑战性的。我们将揭示程序涉及的*佳方案以减轻调试难度，及规模调试的本地工具或技巧。

l  高级Hadoop API

更深入学习API，包括自定义数据类型和文件格式，HDFS的直接访问，中间数据划分，以及其他知识，如DistributedCach。

l  高级算法

将介绍一些可以适合您需求的图算法，以及如PageRank一样更复杂的案例。还将研究有效执行联接的策略，并比较适于不同数据模型的不同技术。

MapReduce程序优化

实训环境

业内规模*大的oracle云计算电信级别机房

CUUG斥巨资参照真实企业高可用数据环境搭建业内*实用、*牛的专业机房，供学员实战演练，全国唯一，亚洲独创。

就业**

数百家企业参与Oracle企业雇主订单培养计划--超过数百家企业与CUUG签订定向就业合作**，学员就业渠道通畅。在CUUG是学员选择企业，不是企业选择学员！

针对不少企业对oracle数据库相关岗位有长期的人才需求的情况，CUUG**从初期学员招募，到培训实施有针对性的对学员进行强化训练。

CUUG每个月会在北京组织企业双选会，企业直接到CUUG人才基地现场宣讲、笔试、面试、录取，大大提高学员面试和成功入职机率。

CUUG每个月不定期组织名企与学员直接面对面交流， 搭起学员入职名企的绿色通道。

CUUG为学员提供免费的人才招聘网站，拥有更多企业，使学员与企业一对一进行沟通， 顺利就业。

CUUG平均每年都会举办3-4次人才专场招聘会，CUUG免费为企业提供标准的招聘会场馆，吸引更多企业参加，使学员与企业面对面沟通， 顺利就业。

关于我们

CUUG －CHINA UNIX USER GROUP，是国际UNIX组织UNIFORUM的中国代表，是国内*悠久的专业UNIX培训机构，被誉为中国UNIX 的摇篮。多年来，以提高教学质量为本，强调素质教育，积极引进、消化国外的*新技术，有效的结合中国的技术现状，培训课程根据国内外需求不断调整更新，UNIX培训教育一直走在国内的前沿。20年来CUUG为国内外造就了几万名IT高端工程师。CUUG成员来自中国科学院软件所、北京大学、清华大学等著名的高等院校、科研机构及企事业单位，集中了一批中国软件行 业的知名人士。作为一个非赢利性机构，CUUG为UNIX及其它*新软件在中国的普及、推广、应用做了许多有益工作。

CUUG 面向社会开展UNIX、WINDOWS系列及其他计算机*新技术的高级培训和教材编写出版工作。 CUUG培训中心随时注意从国外引进*新的技术和产品，并及时地更新培训内容和教材。面向新技术、高层次、现代化。随着IT行业的发展，与UNIX相关的技术越来越多的被应用到各个领域。本协会凭借雄厚的技术实力，与国内各行业（政府、税务、银行、航空、邮电、电力、石化、 外企及高校）建立了广泛的客户关系。CUUG凭借优秀的教师队伍和良好的技术支持与服务，赢得了IT界的一致好评。

咨询电话：010-64707530    【在线咨询】