北京老男孩IT教育

【课程简介】  一、课程名称：大数据开发

班型：全日制脱产班，网络班

二、市场介绍

大数据学习正当时

大数据工程师又是得天独厚，远超普通工程师

三、课程介绍：

专业打造大数据开发生态链

理论、实操内外双修，只做精品课程

年薪“10万+”是我们的底线，年薪“30万+”是我们的水平

阶段JavaSE+MySql+Linux

薪资水平：薪资普遍在5000元

学习安排：2周2次作业1次阶段考核

学习内容：Java语言入门OOP编程Java常用Api、集合IO/NIOJava实用技术Mysql数据库阶段项目实战Linux基础shell编程

学习目标：学习java语言，掌握java程序编写、面向对象程序开发，掌握MySql体系结构及核心编程技术，打好Linux基础，为后续学习提供良好的语言基础。

第二阶段Hadoop与生态系统

薪资水平：薪资普遍在7000元

学习安排：2周2次作业1次阶段考核

学习内容：HadoopMapReduceAvroHiveHBaseZookeeperFlumeKafkaSqoopPig

学习目标：掌握大数据学习基石Hadoop、数据串行化系统与技术、数据的统计分析、分布式集群、流行的队列、数据迁移、大数据平台分析等

第三阶段Storm与Spark及其生态圈

薪资水平：薪资普遍在9000元

学习安排：2周2次作业1次阶段考核

学习内容：StormScalaSparkSpark SQLSpark StreamingSpark机器学习

学习目标：让大家拥有完整项目开发思路和架构设计，掌握从数据采集到实时计算到数据存储再到前台展示，所有工作一个人搞定！并可以从架构的层次站在架构师的角度去完成一个项目。

第四阶段Mahout机器学习、R语言、Python

薪资水平：薪资普遍在12000元

学习安排：2周2次作业1次阶段考核

学习内容：Mahout机器学习R语言Python

学习目标：机器学习领域经典算法的实现，熟练使用R语法和统计思维，可以基于具体问题建立数学模型，掌握python技术与数据分析，将数据结果以可视化的直观方式展示给目标用户。

第五阶段项目实战、技术综合运用

薪资水平：薪资普遍在15000元

学习安排：2周2次作业1次阶段考核

学习内容：某手机公司bug系统传统广告怎么用大数据类互联网电商网站网站日志收集清洗系统网站流量统计分析系统

学习目标：具备企业级大型完整项目开发能力，综合运用大数据分析知识，完成数据分析、收集、展示的完整流程。

四、项目展示

真实企业级实战项目教学

企业应用**广泛的项目实战保你轻松胜任工作

项目一：类电商网站

技术点：spring mvc架构的前端业态展现，maven实现项目依赖管理业务流程的编程实现处理，nginx服务器的负载均衡实现与动静分离技术中同tomcat服务器的服务器集群整合，大数据方面日志数据的产生，数据定时统计、数据在线实时处理等

特色：完成完整的电商前后端数据处理。

项目二：某手机公司bug系统

技术点：编写自己一套bug系统，供测试人员使用，**编写SQL查询一段时间内ERROR级别记录的前10行，统计每分钟的日志记录数，并将统计结果存入mysql数据库中,将该数据对应到bug系统中，提供给开发人员解决bug。

特色：自己编写公司bug系统

项目三：传特色：统广告怎么用大数据（新增）

技术点：

（1）摄像头的采集

（2）图像识别

（3）产生log

（4）linux的定时器

（5）大数据技术结合

（6）php技术展示

（7）h5跨平台展示

特色：让同学从收集，分析，展示一个完整的流程。

项目四：网站日志收集清洗

技术点：

（1）hive数据分析**日志文件获得的访问数据，点击数据，结合线上数据从库根据业务逻辑**shell脚本，利用hive清洗后入mysql数据库，前端**报表配置展示给各个业务部门及CTO、CEO。

（2）各个业务部门例如，市场，运营等临时数据查询支持。

（3）运用hive进行数据仓库搭建。为减轻集群压力，及增加研发人员查询数据效率，特别根据获取的数据进行整理，并且搭建宽表。方便维护及提高数据一致性，准确性。

（4）为提高用户粘性，挖掘潜在客户。根据用户前一天，前一周的用户行为，设计出，并提供数据，适合用户行为兴趣的推荐弹窗口等.

特色：将采集到的网站行为日志**mr清洗后入hive数据库。

项目五：网站流量统计分析系统

技术点：

（1）利用Flume技术完成网站日志的收集和聚集，并把数据存储到HDFS和Kafka集群；

（2）利用hive技术对HDFS收集的日志进行PV,UV,VV和在线时长等离线分析，并利用Sqoop技术把hive分析的结果导入到Mysql中;

（3）利用storm和spark streaming技术对kafka收集的日志进行实时在线分析，将分析中间结果实时存入Hbase,并将**后结果导入Mysql。

特色：大数据分析目标网站页面浏览量或点击量，独立访客数，访问次数和平均在线时长等。