您的位置:培训项目>大数据工程师实训
 
培训项目
地理位置 公交线路
 
左边框
 大数据工程师实训 培训目标

大数据工程师,企业需求量大、就业率高、市场紧缺的大数据工程师,
学员将具备以下软件开发技能:
1)掌握基于Hadoop进行的各种数据分析技术及框架处理;
2)掌握Java se编程,linux工具集;
3)掌握数据分离与实时计算技能;
4)熟练基于Python、R语言的编程;
5)掌握基于hadoop与NoSQL的大数据的部署和运用。

  欲知道本项目的学制、学时、开班时间等情况请点击培训项目介绍  
右边框
技术名称 知识要点 学习目的

Java语言基础

Java语言基础,
面向对象,
继承多态,
反射
JDBC
数据库的原理与SQL
多线程,
集合类,
io输入输出流,
网络编程

掌握面向对象语言的特性,精通Java编程基础技术, 掌握多线程的原理和综合应用;掌握反射机制的原理;熟练掌握sql语句及数据库的应用。

数据库基础,JDBC

数据库原理和基本的应用。JDBC的原理,四大部件的作用及用法

掌握数据库基本概念和增删改查技术,以及Java应用程序和数据库的交互,JDBC四大部件的用法。

Socket网络编程

Socket网络编程原理和应用,C/S模式编程。

掌握Socket网络编程原理和应用,能够运用Socket网编开发C/S模式应用系统。

数据结构与算法

软件开发过程中所要用到的数据操作,如数据检索,数据查询,递归,数据链表,数据堆栈等

掌握数据结构的概念以及各种数据结构的操作

Linux基础知识

Linux简介与安装部署,
熟悉图形化界面,
基本网络配置,
Linux基础命令用户和权限管理,
软件包安装

掌握Linux操作系统的几大组成及每个组成部分的作用。掌握Linux的安装,配置,网络管理和常用命令的使用。

Linux管理

磁盘管理,
日志管理,
进程管理,
服务管理,
任务计划,
ssh远程管理,
selinux

掌握在Linux的基本管理。

Linux服务

dhcp服务,
pxe网络装机,
samba服务,
vsfptd服务,
apache服务,
Tomcat服务

熟练掌握Linux的服务

Linux Shell编程

Shell的作用及分类,
Bash的常用功能,
设置和使用Shell变量,
编写Shell脚本,
条件测试的应用,
FormsAPI;
流程控制语句及函数

掌握Linux下的Shell编程

Hadoop基础

大数据背景,
Hadoop的框架及组件,
Hadoop生态系统,
Hadoop的安装和部署

熟练掌握Hadoop的使用。

分布式文件系统HDFS

HDFS特性和目标,
HDFS核心设计,
HDFS体系结构,
HDFS中数据流的读写,
HDFS的HA机制、Federation机制,
文件压缩,
文件序列化

掌握HDFS。

并行计算框架MapReduce

MapReduce编程模型,
WordCount编程实例,
MapReduce架构、MapReduce类型与格式,
剖析MapReduce作业运行机制,
shuffle和排序,
任务执行与作业调度,
YARN平台架构,
MapReduce高级开发

掌握并行计算框架MapReduce的使用。

数据仓库Hive

Hive基本概念,
Hive数据类型和文件编码,
HiveQL:数据定义与数据操作,
HiveQL:查询、视图和索引、Hive内置函数和UDF

熟练掌握Hive使用。

ETL工具Sqoop

Sqoop介绍,
安装部署Sqoop,
Sqoop使用流程,
Sqoop实战案例

掌握ETL的原理及应用

工作流引擎Azkaban

Azkaban简介、安装部署与配置,
使用Azkaban,
创建工作流、执行工作流,
任务页面查看与系统统计

掌握工作流引擎的部署与使用。

分布式协调系统Zookeeper

安装、运行ZooKeeper,
ZooKeeper实例、Zookeeper选举机制,
Zookeeper服务,
使用ZooKeeper构建应用

掌握分布式协调系统的应用

列式数据库HBase

HBase分布式数据库介绍,
HBase的核心功能模块,
HBase的使用场景和经典案例,
HBase基本概念、HBase表结构设计,
Shell命令行工具,
Java客户端、核心概念、高级特性

掌握列式数据库HBase。

实时计算框架Storm

实时流计算Storm、核心组件,
Storm特性,
Storm的应用场景,
使用Storm,
核心概念和数据流模型,
Storm使用综合案例

学会大数据的综合运用。

消息订阅分发系统Kafka

Kafka介绍,
Kafka原理与架构,
Kafka使用场景,
Kafka的核心概念,
Kafka安装与部署,
Kafka文件消费者案例

掌握Kafka的原理架构和应用。

海量日志采集系统Flume

Flume简介、Flume安装,
Flume内部原理,
Source、Channel、Sink,
Flume应用案例

熟练掌握Flume的内部原理及应用。

函数式编程Scala

Scala基础,
控制结构和函数、数组、映射和元组,
Scala中的类、辅助构造器、主构造器、单例对象、伴生对象、apply方法,
包与作用域,
继承、抽象类与抽象字段,
文件操作,
特质、操作符、update方法,
提取器、高阶函数,
柯里化、集合、模式匹配、偏函数

掌握函数式的编程。

交互式计算框架Spark

Spark简介、生态系统,
Spark架构、Spark集群安装与部署、Spark开发环境配置,
Spark应用案例编程,
弹性分布式数据集,
Spark工作机制、Spark I/O机制,
Spark通信模块,
Lineage机制、Shuffler机制,
Spark SQL运行架构、Spark SQL应用案例,
Spark Streaming实时流,
GraphX图计算,
MLlib体验

熟练掌握Spark框架的概念、配置、操作。利用Spark来完成数据库的操作,掌握Spark I/O机制Lineage机制、Shuffler机制的原理和用法。

数据挖掘与R语言

数据挖掘算法介绍,
分类、聚类,
关联规则、决策树,
R语言介绍、RStudio安装、常用R包,
R语言实现挖掘算法案例,
Python

熟练掌握数据挖掘与R语言的应用。

集群运维与调优

规划Hadoop分布式集群,
管理Hadoop集群,
Hive调优、HBase调优,
CDH的安装部署,
HDP的安装部署

了解如何对Hadoop进行集群规划与管理,掌握Hive、HBase调优。

实战项目
实时监测车辆泊车管理

实时采集车辆进出状态信息和泊位信息,并对它进行统计分析,以此掌握整个城市静态停车的运转情况和规律,实现对整个城市静态停车的统一管理。

对前面知识的总结及应用,并且掌握项目开发流程,团对合作规则,在实战中积累经验,学习开发技巧。

职业素质培养
1、沟通能力发展;
2、自我控制和纪律培养;
 
简历和面试
1、简历书写;
2、面试技巧;
3、软件行业特点和发展;
 

 

 
鄂公网安备  32011302320884号   鄂ICP备2020022147号
版权所有:杭州和盈科技有限公司武汉分公司   法律声明   隐私保护