天津时时彩走趋图 app天津时时彩开奖结果 查询天津时时彩的开奖结果查询 天津时时彩维护 天津时时彩开奖最快 天津时时彩视频程序 福彩天津时时彩 t天津时时彩走势 天津时时彩微信群 天津时时彩历史记录 天津时时彩购买大厅了 天津时时彩维护 全天天津时时彩计划 天津时时彩彩票台子 天津时时彩缩水工具 天津时时彩开奖信息 天津时时彩开奖结果lm0 哪有天津时时彩 t天津时时彩走势 天津时时彩全国开奖号码 天津时时彩投注 天津时时彩走势图上银狐网 天津时时彩怎么代理公司 天津时时彩怎么玩能赢 图感觉天津时时彩 天津时时彩怎么开 天津时时彩前三走势图表 天津时时彩怎么玩法 天津时时彩官方网址 大润发天津时时彩

全国咨询热线:400-618-4000

2019年大数据课程大纲

目前课程版本:6.0   升级时间:2018.09.10   查看详细

大数据课程设计理念

  •  

    完全面向零基础的大数据课程

    我们的课程帮助了近500名零基础的学员高薪就业,近2000名学生正在努力蜕变中。0基础也能高薪就业的大数据课程。

  •  

    更新潮紧随技术发展浪潮

    全面升级Spark核心就业项目,新增第四代大数据处理框架Flink,强化推荐系统实?#35762;?#25193;充至7天。

  •  

    更真实深度还原企业应用场景

    所有项目均是来?#20113;?#19994;实战项目,报表分析、日志分析、推荐系统/广告系统、反欺诈系统、为就业提供强力保障。

  •  

    更全面典型技术点线面横向扩展

    课程全面覆盖大数据技术,数据收集、存储、计算、挖掘、展?#37073;?#31163;线分析/实时分析/内存计算一网打尽。

  •  

    更广泛就业领域

    大数据时代已然到来,在数据已经在一线企业、中小?#25512;?#19994;、传统企业、互联网企业全面落地。就业不再局限于互联网行业。

大数据基础班课程大纲

学习对象

0基础0经验的小白人员;想通过最低的成本来试一下自己是否适?#29486;?#22823;数据相关工作的转型人员。

注:获取更多免费学习视频+资料+笔记,请加QQ:2632311208。

上课方式

全日制脱产,每周5天上课, 上?#25945;?#35838;休息一天的上课方式(?#23548;?#22521;训时间可能因法定节假日等因素发生变化)

培训时间

部?#20013;?#21306;可能会根据?#23548;是?#20917;有所调整,详情可询咨询老师   点击咨询


大数据基础班课程大纲
所处阶段 主讲内容 技术要点 学习目标
第一阶段:
Java语?#21592;?#31243;基础
计算机基础 DOS常用命令、Java概述、JDK环境安装配置、环境变量配置、Java程序入门 核心能力培养:
能够掌握DOS系统常用基本命令;
熟?#32933;?#29992;eclipse编写java代码;
熟?#32933;?#29992;java语言的常用对象;
使用java编写单机应用程序;
掌握面向对象编程思想,为?#38498;?#28145;入学习JavaEE就业课程打下坚实的基础。

具备能力及市场价值:
掌握Java基础知识,为后面的深入学习java课程打下坚实的基础。

市场价值:
继续努力学习。
编程基础 常量与变量、数据类型、运算符、流程控制语句、方法、数组
面向对象 面向对象思想、类与对象、成员变量和局部变量、封装、 this关键字、构造方法
常用类 Object类、Scanner类、Random类、String、StringBuilder类
集合操作 集合概述、集合特点、ArrayList集合
IO操作 字符输入流、字符输出流、字符缓冲输入流、字符缓冲输出流、 复制文件、集合与文件中数据相互读?#30784;?/td>

大数据就业班课程大纲

学习对象

本课程适合于计算机专业,有一定Java基础、通过入学考核的未就业人士。

提示:测试题主要考察您是否具备Java基础,?#21592;?#25105;们统一入学基础,更好地开展教学工作。如果您感觉测试题很难,我们建议您参加我们的Java基础班学习。

上课方式

全日制脱产,每周5天上课, 上?#25945;?#35838;休息一天的上课方式(?#23548;?#22521;训时间可能因法定节假日等因素发生变化)

培训时间

部?#20013;?#21306;可能会根据?#23548;是?#20917;有所调整,详情可询咨询老师   点击咨询

大数据就业班课程大纲
所处阶段 主讲内容 技术要点 学习目标
第二阶段:
JavaWeb核心
前端 HTML、CSS、JavaSript、BootStrap 核心能力培养:
运用常用的网页开发技术设计网页;
掌握WEB系统交互原理;
掌握JavaWeb开发核心技术;
运用JavaWeb核心技术完成简单功能实?#37073;?br /> 掌握JavaWeb高?#37117;?#26415;,创建更好的Web应用程序;
具备B/S结?#35895;?#20214;开发能力。

具备能力及市场价值:
能够完成B/S结构网站开发,具备了真实环境的项目部署能力;
能够完成中小?#25512;?#19994;管理系统等传统项目的开发。

市场价值:
继续努力学习。
数据库 MySQL数据库、MySQL单表操作、MySQL多表操作、MySQL事物、 MySQL存储引擎、JDBC、JDBCDataSource
Web核心 Tomcat、Http协议、servlet入门、Rquest、Response、JSP、MVC、 Cookie、Session、JSP、ETL、JSTL、Filter、listener
web增强 Jquery、Ajax、ajax跨域、分页
基础增强 多线程入门、网络编程入门、反射、动态代理、注解
第三阶段:
网站开发三大框架
项目构建及管理 Maven项目构建、管理、编译、仓库配置,SVN服务器部署、 SVN客户端、自动化部署 核心能力培养:
掌握SSM框架,使用SSH框架开发出结构清晰、可复用?#38498;謾?#32500;护方便的Web应用程序;
掌握如何使用Maven管理项目工程;
掌握数据库的相关技术;
掌握系统开发中的性能、可扩展性及维护性的提升;
通过项目实战熟练掌握SSM框架的使用。

具备能力及市场价值:
能够使用SSM框架完成传统企业?#26029;?#30446;开发,熟悉多种业务流程,丰富项目开发经验。

市场价值:
6000-8000元。
数据库操作框架 mybatis框架原理、mybatis入门案例、mybatis开发DAO方式、 mybatis输入输出?#25104;洹?#21160;态sql、spring整合mybatis
Spring框架 applicationContext、xml配置文件编?#30784;oC思想、DI依赖注入、 使用AspectJ切面编程、JdbcTemplate模板使用、声明式事务管理、SSH整合
SpringMVC框架 springmvc框架原理、springmvc入门案例、springmvc整合mybatis、 参数绑定、json数据交互、拦截器
CRM项目实战 使用springmvc+spring4+mybatis+svn来开发项目、 使用BootStrap进行布局
第四阶段:
大数据娱乐头条
Linux服务器 VMware虚拟机安装、linux常用命令、linux用户权限与网络安全 核心能力培养:
掌握大数据爬虫技术开发;
掌握大数据搜索引擎技术开发;
掌握大数据消息队列使用及调优;
掌握Storm实时数据分析;
掌握分布式系统开发;
掌?#26632;?#32852;网用户日志分析。

具备能力及市场价值:
能够独立开发爬虫系统;
能够独立开发搜索系统;
能够完成实时数据采集、存储、计算及商业应用。

市场价值:
8000-10000元。
linux下应用tomcat、linux下应用MySQL、linux下应用nginx、 nginx负载均衡配置
分布式爬虫实战 大数据娱乐头条-项目整体介绍
大数据娱乐头条-爬虫基础、Http协议、HttpClient网络请求、 Jsoup网页解析、黑客行为之后台登录
大数据娱乐头条-Java并发、多线程、阻塞队?#23567;?网易娱乐爬虫开发实战
大数据娱乐头条-Redis基础、Redis集群、Redis常用API、购物车、 排行榜、Redis?#24535;?#21270;
大数据娱乐头条-分布式爬虫、代理IP、爬虫攻防技术、分布式爬虫开发实战
分布式搜索 大数据娱乐头条-lucene基础、搜索系统原理、Lucene创建索引、 Lucene查询索引、Lucene分页、Lucene高亮
大数据娱乐头条-solr基础、solr在Linux部署、solr管理界面、 solr创建索引、solr查询索引、solr高亮、solrj客户端管理
大数据娱乐头条-SSM搜索服务、搜索引擎界面、搜索分页、搜索高亮、 搜索热词联想
大数据娱乐头条-zookeeper集群、zookeeper原理、dubbox、 搜索服务开发
大数据娱乐头条-Kafka基础、Kafka集群、生产分发策略、消息不丢失、 存储机制、消费者负责均衡、Kafka配置文件详解
大数据娱乐头条-爬虫集成Kafka、爬虫创建索引、 FreeMarker热门搜索结果静态化
大数据娱乐头条-综合部署、nginx负载均衡、solrcloud集群、 solrcloud原理分析
搜索性能优化 大数据娱乐头条-nginx+lua基础、点击流日志收集系统部署
大数据娱乐头条-Storm基础、Storm架构、Storm编程模型、 Storm实时看板、Storm消息不丢失
大数据娱乐头条-Storm热词统计,提供实时热?#31034;?#24577;化
大数据娱乐头条-Storm爬虫日志监控项目实战
大数据娱乐头条-Storm日志分析项目实战
JVM与数据库优化 JVM虚拟机基础与性能调优
数据库分析与优化
第五阶段:
大数据Hadoop实战
大数据环境准备 linux基础、linux的shell编程、大数据环境准备、zookeeper、网络编程概述 核心能力培养:
掌握离线数据收集、数据存储、数据计算、任务调度、数据导入导出、数据报表开发技术;
掌握用户日志分析系统(业务分析、编码实现、调度配置、数据导出、数据可视化);
掌握数据仓库管理、元数据管理、数据稽查等常见处理技术掌握Hadoop高可用配置及管理。

具备能力及市场价值:
能够胜任离线相关工作,包括ETL工程师、任务调度工程师、Hive工程师、数据仓库工程师等。

市场价值:
12000-14000元。
Hadoop集群部署 Hadoop的发展简史、Hadoop的版本介绍、 三个公司对Hadoop版本的支持了解、 Hadoop1.x版本与2.x版本的架构比较、 Apache版本Hadoop三种环境构建、 CDH版本的Hadoop重新编译
HDFS&MapReduce HDFS的来?#30784;DFS设计目标、Hadoop的架构图、文件?#21271;?#26426;制、 block块存储、HDFS的元数据信息、FSimage以及edits、 ScondaryNN的作用、HDFS的文件写入过程、HDFS的文件读取过程、 HDFS的API操作、HadoopMapReduce设计构思、 MapReduce框架结构、MapReduce编程规?#37117;?#31034;例编?#30784;?MapReduce程序运?#24515;?#24335;
MapReduce优化 MapReduce的?#26234;educeTask的数量设置、 MapReduce排序以及序列化、MapReduce计数器、MapReducecombiner、MapReduce上网流?#23458;?#35745;、 MapTask运行机制详解、Map任务的并行度、ReduceTask工作机制、reduceTask的并行度、MapReduceshuffle过程、shuffle阶段数据的压缩机制
自定义?#30333;试?#35843;度 MapReduce实现join、社交粉丝数据分析、mapreduce案例:倒排索引建立、 自定义inputFormat合并小文件、自定义outputFormat、 自定义GroupingComparator求取topN、mapreduce参数优化、 Yarn?#35797;?#35843;度
Hive数据仓库 数据仓库特征、数据仓库架构、Hive的概念、Hive架构、Hive部署及使用、 HiveDDL、HiveDML、Hive命令?#23567;ive参数配置、Hive内置函数、 HiveUDF开发、Hive的数据压缩、Hive的文件格式、Hive调优、 Hive语句综合练习
网站流量日志分析 网站流量日志采集、数据分析系统介绍、系统开发架构、Flume实现数据采集、 数据预处理、数据仓库设计、ETL、统?#21697;?#26512;、Sqoop结果导出、 工作流调度azkaban、数据可视化
Impala&Hue impala的介绍、impala安?#30333;?#22791;、制作本地yum?#30784;mpala的安装、 impala基本使用、impala的java开发、Hue的介绍、Hue的安装、 hue与HDFS集成、hue与yarn集成、配置hue与hive集成、 配置hue与impala的集成、配置hue与mysql的集成
大数据?#24405;?#26415; Oozie介绍、Oozie架构、Oozie的执行流程、Oozie组件、Oozie的安装、 hue整合Oozie、hadoopHA、hadoopFederation、CDH整体架构、 CDH环境安装、Kylin、kettle、kudu
第六阶段:
大数据Spark实战
Scala语言基础 Scala基础语法、Scala高?#30701;?#24615;、Scala的Akka编程实战 核心能力培养:
掌握Spark基础、SparkRDD、SparkSQL、SparkStreaming开发技术;
掌?#26632;?#32852;网电商用户画像建模、开发、可视化(业务知?#19969;?#25216;术开发、架构);
掌握数据数据存储及存储(Hbase+Phoenix)。

具备能力及市场价值:
能够胜任Spark相关工作,包括ETL工程师、Spark工程师、Hbase工程师、用户画像系统工程师、大数据反欺诈工程师。
目前企业?#27604;盨park相关人才。

市场价值:
15000+元。
Spark基础 Spark概述、Spark集群安装部署、Spark运行架构、Spark编程模型
SparkRDD RDD概述、RDD特征、RDD算子操作、RDD依赖、RDD缓存、 Spark任务调度、checkpoint、RDD编程实战
SparkSQL SparkSQL概述、DataFrame、DataFrame常用操作、DataSet介绍、 SparkSQL整合JDBC、SparkonYarn
SparkStreaming 概述、与Storm的?#21592;取parkStreaming原理、DStream操作实战、 开窗函数、整合Flume、整合Kafka
项目实战阶段 互联网电商用户画像建模、开发、数据导入、 数据存储(Hbase+Phoenix)、可视化
项目实战阶段 大数据反欺诈系统、航空领域反爬虫项目实战、系统架构、防?#25318;?#21017;、 Nginx+lua+kafak整合、高频IP检测、SparkStreaming规则引擎开发、 数据可视化
?#24405;?#26415; flink的简介、最值函数aggregate和minBy、maxBy、 去重distict和关联join函数、union合并和rebalance负载均衡、 3种?#26234;?#26041;式(hash、range、sort)、source数据?#30784;link的sink操作、 本地执行和集群执?#23567;?#24191;播变量的操作、分?#38469;交?#23384;的使用、 无重叠数据处理、 窗口划分、windowTime、同步hbase、flink的source?#30784;?基于mysql的sink操作、flink的容错、flink对接kafka数据、案例实战
第七阶段:
大数据机器学习实战
机器学习概念入门 1.基本概念:属性、属性的度量、属性类型、数据集类型、数据集的特性、训练集、测试集、特征值、监督学习、非监督学习、半监督学习等概念
2.数据的预处理:聚集、抽样、维度规约、特征子集选择、特征创建、离散化和二元化、变量变换
3.模型的?#25318;潰?#27169;型的过分拟合(过拟合),欠拟合,?#25318;?#20998;类器的性能(交叉验证和自助法),模?#25512;拦?#26041;法、损失函数和风险函数、参数优化等,模型复杂度(奥卡姆剃刀)4.机器学习处理的一般流程分析
核心能力培养:
掌?#26632;?#22120;学习算法理论基础;
熟悉Python语言基础及数据科学库;
熟悉机器学习应用场景;
掌握Spark机器学习框架、能使用scikit-learn机器学习库结合Python完成全栈机器学习建模;
熟悉深度基本概念、流程、常见算法、能够使用算法解决简单的业务问题(图像识别等);
掌握用户标签预测全流程;
掌?#26632;?#32852;网行业推荐业务开发;
掌握点击?#35797;?#20272;使用场景及项目全流程开发。


具备能力及市场价值:
能够胜任机器学习、数据挖掘等相关工作,包括推荐算法工程师、数据挖掘工程师、机器学习工程师,填?#35895;?#24037;智能领域人才?#26412;?#22686;长缺口。

市场价值:
18000-30000元。
机器学习数学基础 初等数学基础、函数求导以及链式求导法则、方向导数、梯度、泰勒级数、 拉格朗日乘子法、线性代数与矩阵、特征值与特征向量、概率分析、 极大似?#36824;?#35745;、梯度下降法代码?#23548;?#29275;顿法代码实战、 矩阵分解实战(SVD,PCA,QR)
机器学习语言基础之Python语言 基础数据类型、list/tuple/dict/set、列表推导式、生成器推导式、 lambda函数、控制语句、文件读?#30784;?#24322;常处理分析、面向对象编程、 GUI编程、Python基础项目?#23548;?/td>
Python数据分析库实战 Numpy矩阵运算库基础及实战、Scipy数值运算库基础及实战、 Matplotlib绘图库基础及实战、Seaborn绘图库基础及实战、 Pandas数据分析库基础及实战
Spark机器学习库实战 SparkML和SparkMLLIB区别、Spark机器学习基础、Pipeline管道、 特征抽取(TF-IDF、Word2Vec、CountVectorizer)、特征转换(Tokenizer、 PCA、N-gram、DCT、one-hot、MinMaxScaler、Normalizer、SqlTransformer、VectorAssembler)、特征选择(VectorSlicer、RFormula、 ChiSqSelector)
机器学习算法之用户标签预测项目实战 用户画像标签预测实战、KNN、KMeans、决策树算法模型(ID3、C4.5、 Cart树)、集成学习算法(Bagging、随机森林、Adaboost算法、GBDT算法、 XGBOOST算法、LightGBM算法模型)、人才流失模型项目实战
机器学习算法之推荐系统实战 基于记忆的CF实战(Surprise库实战)、基于模型的CF实战(SparkALS实战)、 基于Native-Bayes分类算法实战、基于内容推荐(jieba分词、提取词向量、 文本分类、特征聚类)、关联挖掘算法实战(基于Spark的FP-Growth算法实战)、推荐项目实战
机器学习算法之CTR点击?#35797;?#20272;实战 特征工程实战、CTR点击?#35797;?#20272;应用场景分析、 逻辑斯特回归算法理论基础推导及项目实战、推荐系统指标分析、 推荐系统架构分析、基于Wideanddeep模型理论及实战(学会读学术Paper)
机器学习算法之深度学习基础及?#35745;?#20998;类实战 神经网络和深度学习基础、MP神经元模型、感知机模型、BPNN模型实战、 CNN模型实战图像识别、Tensorflow基础、电影评论文本分析、 RNN文本情感分析实战
机器学习面?#21592;?#22791; 机器学习算法串讲、机器学习面试题目详解,剖析结合人工智能?#23548;?#22330;景、 机器学习或人工智能类岗位核心技能需求、所需知识和技能、主流机器学习工具和框架的使用方法、开放式问题和系?#25104;?#35745;问题, 融汇贯通整个课程知识点、大数据和机器学习部分项目衔接

备注:该课程大纲仅供参考,?#23548;?#35838;程内容可能在授课过程中发生更新或变化,具体授课内容最终以各班级课表为准。


大数据学科项目介绍

  • 爬虫搜索项目

    项?#32771;?#20171;:

    通过爬虫技术爬取不同电商网站的商品数据,然后将不同网站的数据输入到搜索系统引擎中,达到通过一键搜索不同网站?#31995;?#21830;品信息。

    项目特色:

    项目包含HttpClient、Jsoup、代理IP配置、多线程、Java并发包、Redis、Redis Cluster、Lucene、Solr、Solr Cloud,以及互联网爬虫技术案例等。基于以上课程,在企业中可以实现浏览器比价插件、企业竞品分析等业务,可以用来解决企业内部业务数据的搜索问题,或者是做个类似百度这样的搜索引擎。

  • 分布式电商项目

    项?#32771;?#20171;:

    围绕B2B2C电商核心业务,完整实现商家和用户?#25945;?#19994;务线,商家业务线包括:商家入驻、商家审核、商家发布商品、商品审核、商品?#25925;荊?#29992;户业务线包括:用户跨系统登录、用户购物车系统、用户订单结算与支付(支付宝)、用户个人中心;

    项目特色:

    项目包含单点登录系统、Dubbo服务治理、AngularJS、页面静态化、数据库分库分表、分布式?#35745;?#26381;务器、分布式消息队?#23567;?#20998;?#38469;交?#23384;解决方案、分布式搜索解决方案等。基于以上课程,在企业中可以实现完整的电商购物系统,做一个类似于京东、百度这样的高并发的网站,并解决类似于秒杀、双十一这样的业务场景。

  • 构建电商数据?#25945;ǎ?#31163;线)

    项?#32771;?#20171;:

    通过多种方式收集不同渠道和系统的数据,然后对数据进行统一的存储和管理,构建离线数据分析?#25945;ǎ?#26368;后将分析的结果?#25925;?#21040;报表系统中。包含数据质量管理、数据仓库构建、数据仓库分析工具、定时器、数据报表?#25925;?#31561;模块。

    项目特色:

    项目包含FTP管理规?#19969;lume、Sqoop、数据库同步技术、数据质量管理、数据仓库基础、Hive、Hadoop HDFS应用及原理、Hadoop MapReduce应用及原理。基于以上课程,在企业中可以实现离线数据基础分析?#25945;ǎ?#36866;用于?#36127;?#20219;何大数据相关公?#23613;?/p>

  • 构建电商数据?#25945;ǎ?#23454;时)

    项?#32771;?#20171;:

    通过多种方式实时收集不同渠道和系统的数据,然后进行实时的计算,最后将分析的结果实时的反馈到业务系统中。包含数据的实时收集、实时清?#30784;?#23454;时计算等模块。课程中会涉及到多个实时的分析案例,这些分析案例来自于企业的典型案例。

    项目特色:

    项目包含消息队?#23567;lume、Kafka、Storm/JStorm应用及原理、Redis、HBase应用及原理。基于以上课程,在企业中可以实时数据基础分析?#25945;ǎ?#36866;用于?#36127;?#20219;何大数据相关公?#23613;?/p>

  • 推荐系统应用开发

    项?#32771;?#20171;:

    通过利用离线数据分析技术、实时分析技术,以及Mahout数据挖掘技术开发基于用户行为数据的推荐系统(猜你?#19981;叮?#24182;整合进分布式电商系统中。

    项目特色:

    项目是对分布式电商、构建电商数据?#25945;ǎ?#31163;线/实时)三个课程中所学技术的综合运用。推荐系统是当前电商系?#28526;?#19981;可少的部?#37073;?#22522;于以上课程能够从零开始构建一个推荐系统,并根据业务的复?#26377;?#36827;行扩展。

  • 升级企业数据分析?#25945;?/h4>

    项?#32771;?#20171;:

    使用Spark内存计算技术升级升级基于Hadoop和Storm的数据分析?#25945;?#26159;数据分析的发展趋势,课程引入Spark技术分别对离线计算?#25945;?#21644;实时计算?#25945;?#36827;行升级和补充,更好的贴近企业实战。课程中使用Spark和Hbase技术围绕金融行业构建了用户画像系统,可以使用用户画像技术对用户进行风险预测。

    项目特色:

    项目包含Spark、Spark RDD、Spark常用算子、Spark Sql、Spark Streaming、HBase等课程。基于以上课程,可以使用Spark提到Hive的执行引擎,提高计算性能和速度,是企业的主流做法。

教学服务

  • 每日测评

    ?#23458;?#23545;学员当天知识的吸收程度、老师授课内容难易程度进行评?#37073;?#32769;师会根据学员反馈进行分析,对学员吸收情况调整授课内容、课程节奏,最终让?#35838;?#23398;员都可以跟上班级学习的整体节奏。

  • 技术辅导

    为每个就业班都安排了一名优秀的技术指导老师,不管?#21069;?#22825;?#25925;?#26202;自习时间,随时解答学员问题,进一步巩固和加强课上知?#19969;?/p>

  • 学习系统

    为了能辅助学员掌握所学知识,黑马程序员自主研发了6大学习系统,包括教学反馈系统、学习难易和吸收分析系统、学?#23433;?#35797;系统、在线作业系统、学习任务手册、学员综合能力评定分析等。

  • 末位辅导

    末位辅导队列的学员,将会得到重点关心。技术辅导老师会在学员休息时间,针对学员的疑惑进行知识点梳理、答疑、辅导。以确保知识点掌握上没有一个学员掉队,真正落实不抛弃,不?#29260;?#20219;?#25105;?#20010;学员。

  • 生活关怀

    从学员学习中的心态调整,到生活中的困难协助,从课上班级氛围塑造到课下多彩的班级活动,班主任360度暖心鼓励相伴。

  • 就业辅导

    小到五险一金的解释、面试礼仪的培训;大到500强企业面试实训及如?#25569;?#23545;性地制定复习计划,帮助学员拿到高薪Offer。

大润发天津时时彩