小小千想和您聊一聊

当前位置: 首页> 视频教程> Hadoop生态圈视频教程

Hadoop生态圈视频教程进阶

   评分9.9

94节课

16949人已学

下载本章视频你能学到什么?

全面学习该课程后,需要掌握linux操作、shell脚本编写、hadoop概念、hdfs的原理、hdfs操作、mapreduce编写、zookeeper的应用、hive的基本操作、hive的优化、sqoop的使用等技能。

千锋大数据官方①群(857910996)——猛戳进入


课程介绍
本课程全面涵盖hadoop生态圈技术,内容涉及linux、hdfs、mapreduce、zookeeper、hive、sqoop等,对比教学,从基础到进阶,轻松搞定hadoop生态圈。

章节目录
第1章 linux介绍和环境搭建(4集) 03 Zookeeper的shell命令
01 千锋大数据 第13章 hadoop的高可用(4集)
02 Linux概念介绍 01 Hdfs的ha的介绍
03 Vmware安装虚拟机创建linux操作系统安装 02 Hdfs的ha配置
04 Linux的目录结 连接网络模式 配置网络 03 Hdfs的ha的测试
第2章 linux相关命令介绍(5集) 04 Yarn的ha配置和测试
01 帮助命令 Xshell安装 第14章 mr的理论讲解和wordcount案例(5集)
02 Linux的系统级别命令(上) 01 Mapreduce的相关概念的介绍
03 Linux的系统级别命令(下) 02 Wordcount框架搭建
04 Linux中磁盘相关简单操作 03 Wordcount的map和reduce函数的实现
05 Linux中用户和组操作 04 Wordcount的驱动类的编写
第3章 linux相关命令介绍(2集) 05 Wordcount的测试
01 文件创建 第15章 mr基本数学运算和awk脚本案例比较(2集)
02 Linux中的文件操作02 01 Mapreduce的数学运算案例
第4章 linux系统下软件安装(8集) 02 Awk和mapreduce的处理方式比较
01 Linux中的打包解包、查找、别名设置 第16章 shuffle概念及图详解、倒排索引案例(4集)
02 特殊符号、防火墙启停、sudoer的配置 01 Shuffle的概念介绍
03 Linux中二进制包安装(linux中jdk的安装) 02 Shuffle的细节图描述
04 Linux的rpm的介绍和安装 03 分区案例
05 Linux连接公网 04 倒排索引案例
06 在线yum源安装 第17章 mapreduce的自定义数据类型(5集)
07 Linux本地yum源的自作 01 Mr中自定义数据类型
08 源码安装和nginx的安装 02 Mr中的top-n
第5章 shell编程(9集) 03 Mr的二次排序
01 Shell介绍和变量 04 多表的join连接1
02 Shell中的字符串 05 多表的join连接2
03 Shell中的数组和注释 第18章 mapreduce中的老版本API案例(2集)
04 Shell中的运算符 01 Mr中的依赖执行
05 Shell中的ifelse 02 Mr的老版本的api
06 Shell中的循环、casein、continue、break 第19章 mapreduce参数传递和压缩案例(2集)
07 Shell中的方法 01 Mr参数传递
08 Shell中的文件引入 02 Mr中的压缩
09 Shell中脚本的调试 第20章 hive的概念介绍、安装和基本命令(3集)
6章 hadoop的简介和单机版安装(2集) 01 Hive的概念介绍
01 Hadoop的简单介绍 02 Hive的安装
02 Hadoop 单机版安装及应用 03 Hive的基本命令
第7章 hdfs的理论讲解(2集) 第21章 hive的join 、sort by 、union等(2集)
01 Hdfs的相关内容介绍 01 Hive的join相关的查询
02 Hdfs的文件读写流程 02 Hive的sort、union等查询
第8章 yarn的理论讲解(2集) 第22章  hive的分区概念、动态分区案例(2集)
01 Yarn概念的讲解 01 Hive分区表创建
02 Yarn的流程介绍 02 Hive的分区02
第9章 hadoop的伪分布式和分布式搭建(6集) 第23章 hive的基础数据类型、排名函数案例(2集)
01 克隆虚拟机1 01 Hive的基础数据类型和复杂数据类型
02 克隆服务器2 02 Hive的常用内部函数和排名函数
03 Hadoop的集群配置01 第24章 hive的udf概念和udf的案例编写(2集)
04 Hadoop的集群配置02 01 Hive的内部函数入门
05 Hadoop集群的启动和测试 02 Hive的udf的使用
06 Ssh免登陆配置 第25章 hive的数据文件存储格式、索引、视图(7集)
第10章 hdfs的shell命令和hdfs api01(3集) 01 Hive文件的存储格式
01 hdfs的常用shell 02 Hive的serde的记录格式
02 Maven的安装 03 Hive的索引
03 Java读取hdfs的文件 04 Hive的视图
第11章 hdfs的api02和rpc(3集) 05 Hive的执行方式
01 Java操作hdfs文件系统 06 Hive的远程模式
02 Rpc协议介绍 07 Hive的优化explain的查询、job个数控制等
03 Rpc的案例 第26章 sqoop介绍、安装、语句(3集)
第12章 zookeeper的讲解(3集) 01 Sqoop的概念及安装
01 Zookeeper的基本概念 02 Sqoop的语句01
02 Zookeeper集群的搭建 03 Sqoop使用query导入和export导出

  • 第1章 - Linux介绍和环境搭建

  • 第2章 - Linux相关命令介绍

  • 第3章 - linux相关命令介绍

  • 第4章 - linux系统下软件安装

  • 第5章 - shell编程

  • 第6章 - hadoop的简介和单机版安装

  • 第7章 - hdfs的理论讲解

  • 第8章 - yarn的理论讲解

  • 第9章 - hadoop的伪分布式和分布式搭建

  • 第10章 - hdfs的shell命令和hdfs api01

  • 第11章 - hdfs的api02和rpc

  • 第12章 - zookeeper的讲解

  • 第13章 - hadoop的高可用

  • 第14章 - mr的理论讲解和wordcount案例

  • 第15章 - mr的基本数学运算和awk脚本案例比较

  • 第16章 - shuffle概念及图详解、partitioner、倒排索引案例

  • 第17章 - mapreduce的自定义数据类型、top-N、二次排序、多表连接案例

  • 第18章 - mapreduce中的老版本API案例和多个job依赖执行案例

  • 第19章 - mapreduce中的参数传递和压缩案例

  • 第20章 - hive的概念介绍、安装和基本命令的使用

  • 第21章 - hive的join 、sort by 、union等进阶查询

  • 第22章 - hive的分区概念、分区表创建、分区信息修改、动态分区案例

  • 第23章 - hive的基础数据类型、复杂数据类型、常用内部函数、排名函数案例

    • 第81节 - Hive的基础数据类型和复杂数据类型-1

      点击播放
    • 第82节 - Hive的常用内部函数和排名函数-1

      点击播放
  • 第24章 - hive的udf概念和udf的案例编写

  • 第25章 - hive的数据文件存储格式、serde、索引、视图、优化(explain、job数量、数据倾斜)

  • 第26章 - Sqoop介绍、安装、语句

  • 大数据概念

    大数据:指无法在一定时间范围内用常规软件工具进行捕捉,管理和处理的数据集合,是需要新模式才能具有更强大的决策力,洞察发现力和流程优化能力的海量,高增长率和多样化的信息资产

    54
  • HDFS基本概念

    源自于Google的GFS论文发表于2003年10月 HDFS是GFS克隆版 ,HDFS的全称是Hadoop Distributed File System易于扩展的分布式文件系统,运行在大量普通廉价机器上,提供容错机制,为大量用户提供性能不错的文件存取服务

    47
  • 大数据基础教程:TextFile分区问题

    获取分区的个数:rdd1.partitions.length,在spark-shell中没有指定分区的个数获取的是默认分区数,除了这个外parallelize方法可以使用,指定几个分区就会有几个分区出现

    147
  • 大数据基础教程:创建RDD的二种方式

     RDD支持两种操作:转化操作和行动操作。RDD 的转化操作是返回一个新的 RDD的操作,比如 map()和 filter(),而行动操作则是向驱动器程序返回结果或把结果写入外部系统的操作。

    759
  • SparkShell和IDEA中编写Spark程序

     spark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下用Scala编写Spark程序。spark-shell程序一般用作Spark程序测试练习来用。spark-shell属于Spark的特殊应用程序,我们可以在这个特殊的应用程序中提交应用程序

    254
  • 知乎问答3-MySQL安装详解

    知乎问答3-MySQL安装详解

    247
  • 初识Spark和Spark体系介绍

    之前学习了Hadoop的生态圈HDFS MapReduce Yarn 除了这三个总要的的三大框架之外我们还学了Hive Hbase Flume Sqoop等附属在Hadoop这个生态圈中所使用的工具

    208
  • Hadoop2.X 的环境配置与运行官方案例

    Hadoop2.X 的环境配置与运行官方案例

    791
  • 第 3 章 认识Hadoop

      Hadoop是一个开源框架,也是大数据主要框架之一。Hadoop最核心的设计是:HDFS和MapReduce。其中,HDFS为海量数据提供了存储,MapReduce为海量数据提供了计算。Hadoop可以让用户在不了解分布式底层细节的情况下,根据需求进行应用程序开发。

    403
  • 第2章 Shell编程

     Shell是一个作为用户与Linux内核通信的桥梁,它除了解释用户向操作系统输入的命令外,还可以调用其他程序或被其他程序调用,因此,Shell将内核、程序和用户连接在一起。

    382

他们都在看