为什么你要学习大数据
大数据作为中国官方重点扶持的战略性新兴产业，已逐步从概念走向落地“大数据”和“虚拟化”两大热门领域，得到了广泛关注和重视。90%企业都在使用大数据，大数据开发人员的薪资待遇也水涨船高。统计数据显示，大数据开发工程师的就业薪资在5000-27000之间，有工作经验者更高。你选择了大数据就意味着高薪和广阔的未来。
千锋大数据开发靠什么引领群雄?
很多人想要站在大数据时代的风口却无从下手，千锋作为中国IT职业教育的领 先品牌顺势而为重磅推出大数据课程，采用“技术+管理”集合的方式,让你快速掌握大数据生态体系的各个模块的功能和开发技术，成为当下企业紧缺的“复合型”研发人才。
从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式技术和云存储、虚拟化技术。
大数据的价值体现在以下几个方面：1. 对大量消费者提供产品或服务的企业可以利用大数据进行精准营销；
2. 做小而美模式的中长尾企业可以利用大数据做服务转型；
3. 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。
课程介绍
Storm实时开发
01storm简介与基本知识
- storm的诞生诞生与成长
- storm的优势与应用
- storm基本知识概念和配置
- 序列化与容错机制
- 可靠性机制—**消息处理
- storm开发环境与生产环境
- storm拓扑的并行度
- storm命令行客户端
02拓扑详解与组件详解
- 流分组和拓扑运行
- 拓扑的常见模式
- 本地模式与stormsub的对比
- 使用非jvm语言操作storm
- hook 组件基本接口
- 基本抽象类
- 事务接口
- 组件之间的相互关系
03Hadoop分布式系统
- 认识HDFS及其HDFS架构
- Hadoop的RPC机制
- HDFS的HA机制
- HDFS的Federation机制
- Hadoop文件系统的访问
- JavaAPI接口与维护HDFS
- HDFS权限管理
04spout详解与bolt详解
- spout获取数据的方式
- 常用的spout
- 学习编写spout类
- bolt概述
- 可靠的与不可靠的bolt
- 复合流与复合anchoring
- 使用其他语言定义bolt
- 学习编写bolt类
05zookeeper详解
- zookeeper简介
- zookeeper的下*和部署
- zookeeper的配置与运行
- zookeeper的本地模式实例
- zookeeper的数据模型
- zookeeper命令行操作范例
- storm在zookeeper中的目录结构
06storm安装与集群搭建
- storm集群安装步骤与准备
- 本地模式storm配置命令
- 配置hosts文件 安装jdk
- zookeeper集群的搭建
- 部署节点
- storm集群的搭建
07storm-starter详解
- storm-starter项目概述
- 使用maven进行管理
- 在eclipse中运行
- 使用daemontools监控storm进程
- 使用monit监控storm
- 常用的集群操作命令
- drpctopologybuilder
- Hive的权限控制
08开源数据库HBase
- HBase的特点
- HBase访问接口
- HBase存储结构与格式
- HBase设计
- 关键算法和流程
- HBase安装
- HBase的Shell操作
- HBase客户端
09trident详解
- trident概述
- Trident API 实践
- Trident操作详解
- trident spout
- 文件系统分析
- acking框架的实现
- metric
02前端工程化与模块化应用
- 项目截图:
- 项目说明:
SinaSpider主要爬取新浪微博的个人信息、微博数据、关注和粉丝。环境、架构：
- 开发语言：
Python2.7
- 开发环境：
64位Windows7系统，4G内存，i7-3612QM处理器。
- 数据库：
MongoDB 3.2.0 （Python编辑器：Pycharm 5.0.4；MongoDB管理工具：MongoBooster 1.1.1）
- 主要使用 scrapy 爬虫框架。
- 下*中间件会从Cookie池和User-Agent池中随机抽取一个加入到spider中。
- start_requests 中根据用户ID启动四个Request，同时对个人信息、微博、关注和粉丝进行爬取。
- 将新爬下来的关注和粉丝ID加入到待爬队列（先去重）。
| 第三阶段、大数据计算框架体系 | ||
| 课程名称 | 重点内容 | 目标 |
| 一、Python课程 |
1) 介绍Python以及特点2) Python的安装3) Python基本操作（注释、逻辑、字符串使用等）4) Python数据结构（元组、列表、字典）5) 使用Python进行批量重命名小例子6) Python常见内建函数7) 更多Python函数及使用常见技巧8) 异常9) Python函数的参数讲解10) Python模块的导入11) Python中的类与继承12) 网络爬虫案例13) 数据库连接，以及pip安装模块14) Mongodb基础入门15) 讲解如何连接mongodb16) Python的机器学习案例 |
Python语言的部分大家在学习后可以完全掌握Python的精髓，并经过这部分的学习给大家打好一个基础，在其他计算框架中多语言的使用上都会涉及到Python这门流行的语言。同时课程里会经过机器学习的案例让大家学习Python的同时去更好的理解机器学习 |
| 二、Scala课程 |
1) scala解释器、变量、常用数据类型等2) scala的条件表达式、输入输出、循环等控制结构3) scala的函数、默认参数、变长参数等4) scala的数组、变长数组、多维数组等5) scala的映射、元组等操作6) scala的类，包括bean属性、辅助构造器、主构造器等7) scala的对象、单例对象、伴生对象、扩展类、apply方法等8) scala的包、引入、继承等概念9) scala的特质10) scala的操作符11) scala的高阶函数12) scala的集合13) scala数据库连接 |
Scala课程 在此部分内，将更注重scala的各种语言规则与简单直接的应用，而不在于其是如何具体实现，经过学习本课程能具备初步的Scala语言实际编程能力。本部分课程也可以视为大家下面学习Spark课程的铺垫，供大家扫盲熟悉Scala，提前进行热身运动。 |
| 三、Spark大数据处理 |
1) 1) Spark介绍2) Spark应用场景3) Spark和Hadoop MR、Storm的比较和优势4) RDD5) Transformation6) Action7) Spark计算PageRank8) Lineage9) Spark模型简介10) Spark缓存策略和容错处理11) 宽依赖与窄依赖12) Spark配置讲解13) Spark集群搭建14) 集群搭建常见问题解决15) Spark原理核心组件和常用RDD16) 数据本地性17) 任务调度18) DAGScheduler19) TaskScheduler20) Spark源码解读21) 性能调优22) Spark和Hadoop2.x整合：Spark on Yarn原理 |
Spark大数据处理 本部分内容全面涵盖了Spark生态系统的概述及其编程模型，深入内核的研究，Spark on Yarn,Spark Streaming流式计算原理与实践，Spark SQL,Spark的多语言编程以及SparkR的原理和运行。不仅面向项目开发人员，甚至对于研究Spark的学员，此部分都是非常有学习指引意义的课程。 |
| 四、Spark—Streaming大数据处理 |
1) Spark Streaming：数据源和DStream2) 无状态transformation与有状态transformation3) Streaming Window的操作4) sparksql 编程实战5) spark的多语言操作6) spark新版本的新特性 |
Spark—Streaming是流式计算里zui有特点的框架，便于机器学习上模型的使用，当下公司Spark默认就是Streaming，可见它的重要性，对于微批处理的流式计算，框架简介，Dstream的模型使用 |
| 五、Spark—Mlib机器学习 |
1) 介绍a) Spark MLlib组件介绍 b) 基本数据类型 2) 回归算法c) 广义线性模型 d) 逻辑回归 3) 分类算法e) 朴素贝叶斯 f) 决策树 g) 随机森林 4) 第四章 推荐系统5) 第五章 聚类6) spark新版本的新特性h) Kmeans i) Sparse kmeans j) Kmeans k) Kmeans II l) Streaming kmeans m) Gaussian Mixture Model |
前面课程大家已经掌握第1代机器学习工具R，而后又学习了第二代机器学习工具Mahout，这里大家将会学习第三代机器学习工具MLlib，大家不仅将会了解MLlib的组件及其调用，而且会经过Spark的项目深入了解MLlib的现实使用。经过此部分大家也可以看出课程不仅着眼于现在，更是着眼于大家的未来在行业中的发展。 |
| 六、Spark—GraphX 图计算 |
a) 二分图b) 概述c) 构造图d) 属性图e) PageRank |
这节课程是 Apache的开源的图计算框架Giraph，以及卡内基梅隆大学主导的GraphLab等，当然还有本文的主角——基于Spark的GraphX |
| 七、基于Spark的推荐系统（某一线公司真实的项目） |
项目技术架构体系：a) 实时流处理 Kafka，Spark Streaming b) 分布式运算 Hadoop，Spark c) 数据库 Hbase，Redis d) 机器学习 Spark Mllib e) 前台web展示数据 Struts2，echart f) 分布式平台 Hadoop，Spark g) 数据清洗 Hive h) 数据分析 R RStudio i) 推荐服务 Dubbox j) 规则过滤 Drools k) 机器学习 MLlib |
个性化推荐是根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大，商品个数和种类**增长，顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题，个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台，以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务 |
| 八、Kafka课程 |
1) kafka是什么2) kafka体系结构3) kafka配置详解4) kafka的安装5) kafka的存储策略6) kafka分区特点7) kafka的发布与订阅8) zookeeper协调管理9) java编程操作kafka10) scala编程操作kafka11) flume 和kafka 的整合12) Kafka 和storm 的整合 |
Kafka是当下流行的队列，可以说是从数据采集到大数据计算承上启下的重要环节，大家在此部分将会详细学习它的架构，kafka在大家大数据的项目中几乎都会涉及到。 |
| 九、Strom实时数据处理 |
项目技术架构体系：1) Storm的基本概念 2) Storm的应用场景 3) Storm和Hadoop的对比 4) Storm集群的安装的linux环境准备 5) zookeeper集群搭建 6) Storm集群搭建 7) Storm配置文件配置项讲解 8) 集群搭建常见问题解决 9) Storm常用组件和编程API：Topology、 Spout、Bolt 10) Storm分组策略(stream groupings) 11) 使用Strom开发一个WordCount例子 12) Storm程序本地模式debug、Storm程序远程debug 13) Storm事物处理 14) Storm消息可靠性及容错原理 15) Storm结合消息队列Kafka：消息队列基本概念(Producer、Consumer、Topic、Broker等)、消息队列Kafka使用场景、Storm结合Kafka编程API 16) Storm Trident概念 17) Trident state 原理 18) Trident开发实例 19) Storm DRPC(分布式远程调用)介绍 20) Storm DRPC实战讲解 21) Storm和Hadoop 2.x的整合：Storm on Yarn Storm开发实战： Kafka Storm Hbase redis项目实战，以及多个案例 |
本部分学习过后，大家将全面掌握Storm内部机制和原理，经过大量项目实战，让大家拥有完整项目开发思路和架构设计，掌握从数据采集到实时计算到数据存储再到前台展示，所有工作一个人搞定！譬如可以一个人搞定淘宝双11大屏幕项目！不光从项目的开发的层次去实现，并可以从架构的层次站在架构师的角度去完成一个项目。 |
| 十、Strom项目实战 |
项目技术架构体系：Storm hbase kafka flume echartsa) flume实时采集日志 b) kafka缓冲队列 c) storm实时处理 d) Hbase dao存储处理结果 e) 前端Web实时展示报表 |
中国移动基站**平台一个市级移动公司，每天的产生海量话务数据（一线城市更高），经过大数实时分析，监控每个基站的掉话率，基站通话总数，基站掉话总数，基站告警，3g/4g上网流量实时监控。对以上维度进行实时分析以达到对基站工作情况的监控。 |
千锋互联机构简介
千锋互联隶属于北京千锋互联科技有限公司，一直秉承“用良心做教育”的理念，致力于打造IT教育全产业链人才服务平台，公司总部位于北京，目前已在深圳、上海、郑州、广州、大连、武汉、成都、西安、杭州、青岛、重庆、长沙、哈尔滨成立了分公司，全国14个城市年培养优质人才20000余人，同期在校学员5000余人，合作院校超500所，合作企业超10000家，每年有数十万名学员受益于千锋互联组织的技术研讨会、技术培训课、网络公开课及免费教学视频。
千锋的6年多历程精彩纷呈，获得荣誉包括：中关村移动互联网产业联盟副理事长单位、中国软件协会教育培训委员会认证一级培训机构、中关村国际孵化软件协会授权中关村移动互联网学院、教育部教育管理信息中心指定移动互联网实训基地等。
千锋互联11大学科包含HTML5培训、UI交互设计培训、PHP培训、Java+云数据培训、大数据开发培训、VR/AR/Unity游戏开发培训、Python人工智能培训、Linux云计算培训、全栈软件测试培训、Android培训、iOS培训，采用100%全程面授高品质、高成本培养模式，教学大纲紧跟企业需求，拥有全国一体化就业保障服务，成为学员信赖的IT职业教育品牌。
我们是非常专业在线教育平台,为学员提供海量、优质的课程，专业的课程顾问课为您量身定制课程，课程结构严谨,用户可以根据自身的学习程度,自主安排学习进度。欢迎点击访问：北京大数据开发培训课程汇总！
课程定制与咨询：010-64707530 QQ：264567689 金老师
个试听名额
