小小千想和您聊一聊

当前位置: 首页> 视频教程> 快速入门Spark

快速入门Spark高级

   评分9.2

71节课

23176人已学

下载本章视频你能学到什么?

本节课能够掌握Spark的环境搭建,任务调度流程,以及RDD代码的应用。

千锋大数据官方①群(857910996)——猛戳进入


课程介绍

Apache Spark 是在大数据工业界里用的最多的基于内存的技术框架,尤其是RDD的特性以及应用,对帮助理解Spark和任务提交的流程以及缓存机制。

章节目录

第1章 Spark知识讲解 36 join
01 为什么学习Spark 37 leftOuterJoin
02 Spark和MapReduce的对比.mp4 38 rightOuterJoin
03 Spark框架体系 39 cartesian
04 Spark下载 40 groupBy
05.Spark运行模式介绍 41 mapPartition
06.Spark集群安装 42 mapPartitionWithIndex
07.Spark程序执行流程 43 sortby
08.Spark相关名词解释 44 sortbykey
09 SparkShellLocal 45 repartition
10 SparkShellCluster 46 coalesce
11 Spark2.2和Spark1.6Shell对比 47 partitionBy
第2章 Maven和IDEA 48 repartitionAndSortWithinPartitions
12 Maven和IDEA下载 49 reduce
13 Maven安装 50 reduceByKey
14 IDEA安装 51 aggregateByKey
15 IDEA中配置Maven 52 combineByKey
16 Scala环境安装和IDEA中配置Scala插件 第5章 Action算法
17 IDEA创建Spark工程 53 collect
18 Spark开发WordCount程序 54 count
19 Spark程序打包 55 top
20 Spark集群运行打包程序 56 take
第3章 RDD知识讲解 57 takeOrdered
21 RDD概念 58 first
22 RDD执行流程 59 saveAsTextFile
23 RDD属性 60 foreach
24 RDD弹性 61 其他算子之countByKey
25 RDD的两种创建 62 其他算子之countByValue
26 RDD编程API 63 其他算子之filterByRange
第4章 Transformation算法 64 其他算子之flatMapValues
27 Transformation算法 65 其他算子之foreachPartition
28 Action算法 66 其他算子之keyBy
29 Map 67 其他算子之keys和values
30 filter 68 其他算子之collectAsMap
31 flatMap 69 RDD函数传递
32 sample 70 RDD的依赖关系
33 union 71 RDD任务划分
34 intersection 72 Lineage血统
35 distinct

  • Scala系列之对象

    在Scala中没有静态方法和静态字段,但是可以使用object这个语法结构来达到同样的目的。

    112
  • Scala系列之抽象类

    如果某个类至少存在一个抽象方法或一个抽象字段,则该类必须声明为abstract。

    171
  • Scala系列之闭包

    闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。

    200
  • Scala系列之闭包

    闭包是一个函数,返回值依赖于声明在函数外部的一个或多个变量。

    451
  • Scala系列之抽象类

    如果某个类至少存在一个抽象方法或一个抽象字段,则该类必须声明为abstract。

    445
  • Scala系列之映射Map

    Scala系列之映射Map

    564
  • Scala系列之集合操作函数

    系列之集合操作函数

    778
  • Scala系列之List、set、元祖

    映射是K/V对偶的集合,对偶是元组的最简单形式,元组可以装着多个不同类型的值,是不同类型的值的聚集。

    842
  • Hive分区和分桶

    当单个表数据量越来越大的时候,hive查询通常会全表扫描,这将会浪费我们不关心数据的扫描,浪费大量时间。从而hive引出分区概念partition

    643
  • 大数据编程之UDF函数

     UDF:user difine function,用户自定义函数,一对一。常用 udaf:user define aggregate function,用户自定义聚合函数,多对一。 udtf:user define table_generate function,用户自定义表生成函数,一对多。

    949

他们都在看