课程目标

1、了解大数据相关的编程语言与应用实践。
2、深入学习大数据技术：大数据的技术框架、通用平台技术架构以及各种功能模块技术架构。

适用人群

在校学生；大数据技术爱好者；数据分析、数据挖掘技术爱好者。学员基础：具有一定的面向对象语言的程序基础

课程概述

本课程针对大数据技术原理进行了深入浅出的讲解。为了照顾不同学员的理论基础，特开设了第一部分的课程，编程语言导引，把大数据技术涉及到的编程语言Python、R、Ruby、Java和Scala进行了简要介绍。通过这一部分的学习，有一定编程基础的同学可以快速温习这几个编程语言的精髓和要点，没有编程基础的同学可以通过这一部分的课程结合对应编程语言课程的深入学习掌握知识点。

第二部分主要针对大数据技术展开介绍，从内容的组织上主要介绍以下内容：

一、大数据简介：对大数据技术产生的背景、大数据主要应用场景和大数据的技术架构进行了总体的介绍。

二、通用处理平台：对Spark、Flink和Hadoop几个平台架构进行了总体介绍，重点介绍了Hadoop平台的技术原理。

三、分布式存储：对HDFS技术架构进行了介绍，内容包含HDFS JAVA API介绍、HDFS技术架构详解以及HDFS源代码解析。接下来介绍了HBase的技术原理与应用。

四、资源调度：介绍了Yarn技术架构，接下来介绍了MapReduce技术；介绍了Mesos技术架构。

五、数据分析：主要介绍了常用的Hive数据仓库技术。

六、消息队列：主要介绍了常用的Kafka消息队列技术。

七、流式计算：主要介绍了Spark Streaming流式计算技术。

八、日志收集：主要介绍了Flume日志收集技术。

课程时长：

课程分为两部分：第一部分为编程语言导引，把大数据技术涉及到的编程语言进行了简要介绍。第二部分为大数据技术原理，介绍了大数据通用处理平台、分布式存储。资源调度、数据处理分析、消息队列、流式计算、日志收集等平台和框架技术，重点讲解了各平台和框架的原理技术。

第一部分的课程，为每个常用语言进行了介绍，每个语言分为两个小节合计60分钟，共计300分钟的课程。

第二部分的课程，针对大数据技术的各个方面规划了每节15分钟-30分钟的课程，共计970分钟的课程。

课程特点：

将编程语言的学习导引作为授课环节，学员可以通过学习迅速理解需要的编程语言技术。

介绍了通用大数据平台和技术，不针对厂家的产品，知识点的通用性较强。

将大数据技术的知识点合理分类，内容组织编排符合大部分学员的学习习惯。