系列课程 > 精通Spark core和SparkSQL

精通Spark core和SparkSQL

大数据核心框架Spark占据愈来愈重要的地位, 本课程将从Spark基础、原理到优化,从浅到深,层层深入递进,全面讲解Spark体系

课程数:4节  课程有效期:365天  学习人数:

分享有礼

精通Spark core和SparkSQL目录4节课程,已更新完毕

  • 学习Spark的架构以及搭建运行环境,理解Spark核心数据结构—RDD,最终掌握RDD的数据变换及操作
  • 介绍RDD依赖与DAG、Spark Shuffle的工作原理,通过学习能够进行RDD优化,且可以进行CSV与JSON数据源的加载,并能够使用IDEA开发Spark应用程序
  • 进一步学习掌握Spark SQL相关内容,包含Spark SQL原理、优化器(Catalyst Optimizer)、操作外部数据源、Spark-SQL Shell等,同时掌握Dataset与DataFrame的操作,Spark函数应用与开发,以及针对Spark进行性能优化
  • 通过教育平台大数据分析项目实战加深对Spark的掌握和理解,项目需求涵盖数据清洗和分析,力求从真实需求角度感受技术实现的全过程
展开全部
关闭
关闭

了解
畅学卡

手机端
学习