为什么你要学习大数据
大数据作为中国官方重点扶持的战略性新兴产业，已逐步从概念走向落地“大数据”和“虚拟化”两大热门领域，得到了广泛关注和重视。90%企业都在使用大数据，大数据开发人员的薪资待遇也水涨船高。统计数据显示，大数据开发工程师的就业薪资在5000-27000之间，有工作经验者更高。你选择了大数据就意味着高薪和广阔的未来。
千锋大数据开发靠什么引领群雄?
很多人想要站在大数据时代的风口却无从下手，千锋作为中国IT职业教育的领 先品牌顺势而为重磅推出大数据课程，采用“技术+管理”集合的方式,让你快速掌握大数据生态体系的各个模块的功能和开发技术，成为当下企业紧缺的“复合型”研发人才。
大数据相关技术方向
1. Hadoop大数据开发方向；
2. 大数据运维& 云计算方向；
3. 数据挖掘、数据分析&机器学**方向。
三个方向中，大数据开发是基础。以Hadoop开发工程师为例，Hadoop入门薪资已经达到了 8K 以上，工作1年可达到 1.2W 以上，具有2-3年工作经验的hadoop人才年薪可以达到 30万—50万，一般需要大数据处理的公司基本上都是大公司，所以学**大数据专业也是进大公司的捷径！
精通任何方向之一者，均会“ 前（钱）”途无量。
大数据相关的技术有：Hadoop、Linux、Oracle、 Jquery、 Spark、 Storm、Servlet、Python、Nginx、Memcached、Matlab、Scala、Maven等。
课程介绍
|
Spark生态体系 01Spark简介 - 什么是Spark - Spark大数据处理框架 - Spark的特点与应用场景 - Spark SQL原理和实践 - Spark Streaming原理和实践 - GraphX SparkR入门 - Spark的监控和调优 02Spark部署和运行 - 部署准备与下* - Spark生态和安装部署 - Local YARN模式部署 - Local模式运行 - Spark Standalone HA安装 - YARN模式运行Spark - Spark应用程序部署工具spark-submit 03Spark程序开发 - 启动Spark Shell - 加载text文件 - RDD操作及其应用 - RDD缓存 - 构建Eclipse开发环境 - 构建IntelliJ IDEA开发环境 - 创建SparkContext对象 - 编写编译并提交应用程序 04Spark编程模型 - RDD特征与依赖 - 集合（数组）创建RDD - 存储创建RDD - RDD转换 执行 控制操作 - 广播变量 - 累加器 05作业执行解析 - Spark组件 - RDD视图与DAG图 - 基于Standalone模式的Spark架构 - 基于YARN模式的Spark架构 - 作业事件流和调度分析 - 构建应用程序运行时环境 - 应用程序转换成DAG 06Spark SQL与DataFrame - Spark SQL架构特性 - DataFrame和RDD的区别 - 创建操作DataFrame - RDD转化为DataFrame - 加载保存操作与Hive表 - Parquet文件JSON数据集 - 分布式的SQL Engine - 性能调优 数据类型 07深入Spark Streaming - Spark Streaming工作原理 - DStream编程模型 - Input DStream - DStream转换 状态 输出 - 优化运行时间及内存使用 - 文件输入源 - 基于Receiver的输入源 - 输出操作 08Spark MLlib与机器学习 - 机器学习分类级算法 - Spark MLlib库 - MLlib数据类型 - MLlib的算法库与实例 - ML库主要概念 - 算法库与实例 09GraphX与SparkR - Spark GraphX架构 - GraphX编程与常用图算法 - GraphX应用场景 - SparkR的工作原理 - R语言与其他语言的通信 - SparkR的运行与应用 - R的DataFrame操作方法 - SparkR的DataFrame 10spark项目实战 - 大数据分析系统 - 系统资源分析平台 - 在Spark上训练LR模型 - 获取二级邻居关系图 11scala编程 - scala编程介绍 - Scala基本语法 - Scala开发环境搭建 - Scala开发Spark应用程序 12Python编程 - Python编程介绍 - Python的基本语法 - Python开发环境搭建 - Pyhton开发Spark应用程序 |
Hadoop生态体系 01Hadoop起源与安装 - 大数据概论 - Google与Hadoop模块 - Hadoop生态系统 - Hadoop常用项目介绍 - Hadoop环境安装配置 - Hadoop安装模式 - Hadoop配置文件 02MapReduce**入门 - WordCount准备开发环境 - MapReduce编程接口体系结构 - MapReduce通信** - 导入Hadoop的JAR文件 - MapReduce代码的实现 - 打包、部署和运行 - 打包成JAR文件 03Hadoop分布式文件系统 - 认识HDFS及其HDFS架构 - Hadoop的RPC机制 - HDFS的HA机制 - HDFS的Federation机制 - Hadoop文件系统的访问 - JavaAPI接口与维护HDFS - HDFS权限管理 04Hadoop文件I/O详解 - Hadoop文件的数据结构 - HDFS数据完整性 - 文件序列化 - Hadoop的Writable类型 - Hadoop支持的压缩格式 - Hadoop中编码器和解码器 - gzip、LZO和Snappy比较 05MapReduce工作原理 - MapReduce函数式编程概念 - MapReduce框架结构 - MapReduce运行原理 - Shuffle阶段和Sort阶段 - 任务的执行与作业调度器 - 自定义Hadoop调度器 - YARN架构及其工作流程 06MapReduce编程开发 - WordCount案例分析 - 输入格式与输出格式 - 压缩格式与MapReduce优化 - 辅助类与Streaming接口 - MapReduce二次排序 - MapReduce中的Join算法 - 从MySQL读写数据 - Hadoop系统调优 07Hive数据仓库工具 - Hive工作原理、类型及特点 - Hive操作及Hive复合类型 - Hive的JOIN详解 - Hive优化策略 - Hive内置操作符与函数 - Hive用户自定义函数接口 - Hive的权限控制 08开源数据库HBase - HBase的特点 - HBase访问接口 - HBase存储结构与格式 - HBase设计 - 关键算法和流程 - HBase的Shell操作 - HBase客户端 09Sqoop与Oozie - 安装部署Sqoop - Sqoop数据迁移 - Sqoop使用案例 - Oozie简介 - Oozie与Hive - Azkaban工作流 |
| 第二阶段、云计算体系 | ||
| 课程名称 | 重点内容 | 目标 |
| 一、Docker 课程 |
1) 基本介绍2) vm docker 对比3) docker基本架构介绍4) unfs cgroup namespace5) 进程虚拟化 轻量级虚拟化6) docker 安装7) docker 镜像制作8) docker 常用命令9) docker 镜像迁移10) docker pipework【i.openvswitch】11) docker weave |
Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）。几乎没有性能开销,可以很容易地在机器和数据中心中运行。重要的是,他们不依赖于任何语言、框架包括系统。 |
| 二、虚拟化KVM |
1) 虚拟化介绍，虚拟化适用场景等等2) Qemu Libvirt & KVM3) 安装KVM, Qemu, Libvirt4) QEMU-KVM: 安装第1个能上网的虚拟机5) Kvm虚拟机 nat,网桥基本原理6) kvm虚拟机克隆7) kvm虚拟机vnc配置8) kvm虚拟机扩展磁盘空间9) Kvm快照10) Kvm 迁移11) Java,python,c语言编程控制kvm12) 构建自己的虚拟云平台 |
云计算平台，比如openstack，cloudstack 底层采用的技术都是虚拟化方案，现在以kvm市场占有率高，我们要深入的去学习这些原生的虚拟化，才能深入了解和架构openstack这样的云计算的平台，也才更有能力去开发自己的云计算平台 |
| 三、云平台OpenStack |
1) openstack介绍和模块基本原理分析2) openstack多节点安装部署【a.采用centos6.x系统】3) Keystone基本原理4) glance5) Cinder6) Swift7) Neutron8) Openstack api 二次开发 |
在实战中学习，课程绝不是纸上谈兵，经过搭建和调试一个真实的openstack平台，深入浅出， 详细讲解openstack的各个组成模块：keystone, glance, nova, cinder, neutron, horizen。课程中遇到的各种实际问题，不仅演示了如何解决，更是要教会大家学会去找到解决问题的方法。难点问题全面讲解。在云计算的各种技术当中，网络部分是zui难，也是zui复杂多样的。课程中针对虚拟网络进行了详细的讲解，包括基本原理，以及实际环境搭建，问题的跟踪和解决。讲师拥有丰富的移动集团工作经验，负责云平台的各方面工作，讲课内容完全贴近企业需求，绝不纸上谈兵。 |
师资介绍
-
李老师
主讲课程：大数据
简介： 原新浪&&微博的架构师，拥有5年的大数据 研发经验，独自架构并且研发基于Spark的个...详情>>
预约老师 -
李老师
主讲课程：大数据
简介： 北航大数据技术及应用专业在职研究生在读。 从事企业软件研发工作5年,从事大数据讲师2年，有丰富的 ...详情>>
预约老师 -
陈老师
主讲课程：大数据
简介： 10余年的软件行业从业经验，有着丰富的 软件设计、管理和开发经验。曾参与研发过餐饮连锁 管...详情>>
预约老师 -
邢老师
主讲课程：java
简介： 千锋JAVA讲师，多年开发经验，曾参与大型旅游 网站、全国ETC联网等项目。擅长JAVA、Androi...详情>>
我们这里汇集了北京众多的优秀课程和各个方面的培训学校，为各位提供全面的咨询报名服务，欢迎点击访问：北京大数据开发课程汇总
课程定制与咨询：010-64707530 QQ：264567689 金老师
个试听名额
