大数据技术之Spark3.x性能优化

大数据技术之Spark3.x性能优化

大数据技术之Spark3.x性能优化

资源简介：

资源大小：2.36GB

〖课程介绍〗:

本套课程从多个方面展开讲解Spark的调优策略，包括资源配置调优、SparkSQL语法调优、执行计划解读、数据倾斜问题解决、Job优化、Spark3.0新特性详解。

〖课程目录〗:

01-课程简介.mp4 16.70M

02_执行计划_准备测试数据和表.mp4 19.46M

03_执行计划_执行流程&案例实操解读.mp4 150.13M

04-资源规划-资源设定上限估算.mp4 21.24M

05-资源规划-精确内存估算.mp4 28.01M

06-资源规划-精确调整内存各比例.mp4 15.72M

07-缓存调优-RDD-进行cache.mp4 39.32M

08-缓存调优-RDD-cache结合kryo序列化.mp4 21.24M

09-缓存调优-DS-cache和序列化.mp4 45.65M

10-CPU调优-合理利用CPU资源.mp4 86.32M

11-语法优化-RBO-inner join的谓词下推.mp4 70.46M

12-语法优化-RBO-外关联的谓词下推.mp4 67.87M

13-语法优化-RBO-列裁剪&常量替换.mp4 21.49M

14-语法优化-CBO-Statics统计&CBO使用效果.mp4 124.05M

15-语法优化-广播Join.mp4 89.08M

16-语法优化-Join-SMB Join原理.mp4 21.10M

17-语法优化-Join-SMB Join效果演示.mp4 47.41M

18-数据倾斜-现象&原因&抽样定位大key.mp4 33.99M

19-数据倾斜-单表数据倾斜处理.mp4 58.08M

20-数据倾斜-Join-使用广播Join.mp4 42.45M

21-数据倾斜-Join-拆分key 打散大表 扩容小表.mp4 87.33M

22-Map端优化-使用Map端预聚合.mp4 6.00M

23-Map端优化-读取小文件优化.mp4 142.67M

24-Map端优化-调大ShuffleWrite溢写时的输出流缓冲&源码分析.mp4 107.28M

25-Reduce端优化-输出产生小文件优化-调整并行度&缩小分区.mp4 32.14M

26-Reduce端优化-动态分区插入小文件优化.mp4 38.08M

27-Reduce端优化-提高Reduce端缓冲区&重试次数&重试等待间隔.mp4 74.27M

28-Reduce端优化-合理使用bypass.mp4 42.01M

29-Job优化-调节数据本地化等待时间.mp4 99.06M

30-Job优化-堆外内存的版本区别.mp4 43.81M

31-Job优化-使用堆外缓存.mp4 40.56M

32-Job优化-调整连接等待时长.mp4 45.39M

33-Spark3.0-AQE-动态合并分区&动态申请资源.mp4 102.12M

34-Spark3.0-AQE-动态切换Join策略.mp4 43.37M

35-Spark3.0-AQE-自动优化join倾斜.mp4 87.61M

36-Spark3.0-DPP-动态分区裁剪.mp4 69.25M

37-Spark3.0-Hint增强.mp4 25.36M

38-常见故障思路简析.mp4 47.06M