适用学员: 1、学习过课工场《大数据工程师3.0》中Java基础与高级、MySQL数据库技术的学员; 2、想在短时间内掌握大数据核心技术的学员; 3、从事过Java EE开发,想往大数据方向转型的开发者; 4、了解Linux系统和Java编程语言的其他开发
课程目标:
1、能够使用Hadoop的核心组件完成大数据离线处理
2、能够使用Hive简化Hadoop开发
3、掌握Scala编程
4、掌握Spark的核心组件
5、能够使用Spark完成大数据实时计算
课程主要内容:
HDFS、MapReduce、ZooKeeper、YARN、HBase、Hive、Sqoop、Azkaban、Scala编程、Spark Core、Spark SQL、Spark Streaming
环境要求:
课程所有实验环境均在单台Linux虚拟系统中完成。应准备VMware、CentOS 6.5、JDK1.7等软件环境,宿主机性能要求内存最低4GB、建议8GB以上,CPU应支持虚拟化,磁盘空闲100GB以上。
注意:本视频为教材的配套视频,请与教材配合使用。