要解决数据 倾斜，WebUI首先要定位数据 倾斜。Hive 数据 倾斜和数据通货膨胀笔记难得的周末，整理了一个星期的工作，发现最近一直被数据 倾斜的问题困扰，但还是很安静。
1。请选择有效的单元格区域。2.单击格式菜单选择单元格。3.在弹出的对话框中选择对齐选项卡，并将方向设置为30度。4.单击确定。选中单元格区域，在弹出的对话框中的对齐选项卡上点击格式-单元格-设置方向为30度，点击确定。
Mapjoin是一种避免数据 倾斜的手段，它允许map阶段的join操作。Mapjoin将所有小表读入内存，直接取另一个表的数据和map阶段的。因为连接操作是在map中进行的，所以归约操作的效率会高很多。在hive中有一个特定的操作:join Encounters。连接多个表时，小表放在join的左侧，大表放在Jion的右侧。当执行这样的join连接时，小表中的数据将被缓存在内存中。
触发shuffle的常用运算符:distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup、repair等。要解决数据 倾斜，首先要定位数据 倾斜发生在哪里，首先是哪个阶段，直接在WebUI上看就行了，再看耗时的任务和/12344。
查看导致倾斜的密钥的数据分发。根据操作的不同，查看密钥分布有多种方式:1 .如果是由SparkSQL中的groupby和join语句引起的，数据。2.如果数据 倾斜是SparkRDD执行shuffle运算符导致的，可以添加代码来检查Spark job中的密钥分布，比如RDD.countByKey()。
4、hive 数据 倾斜及解决方案1，-1由空值引起/倾斜解决方案1: Where条件过滤掉空值解决方案2: concat(hive ，rand())用于在关联时给出一个随机值，因为空值参与shuffle时的哈希结果是一样的，那么我们可以2 .不同的数据types-1倾斜solutions:cast用于转换成相同的数据type 3，由不可分割的大文件数据触发。
5、 数据 倾斜导致子任务积压业务背景:在一个流程中，有两个重要的子任务:一个是数据迁移，kafka 数据被实时滴入Es；另一种是kafka 数据聚合成hbase，两个子任务以同样的方式连接。上游话题的tps峰值达到了56w。问题描述:24个任务管理器(CPU)将没有时间花费。问题原因:窗口聚合的任务的分组字段的分组粒度太小，哈希无法打散。数据 倾斜严重，导致少数TaskManager压力过大，从而影响下降Es的效率，导致反压。
结果:修改前，24个任务管理器(CPU)没有时间消耗，修改后，20个CPU可以完成任务。Kafka Real-time数据drop Es的16个任务管理器，聚合kafka 数据作为hbase的4个任务管理器的窗口。另外，在数据和数据输入的Tps相同的情况下，Hbase的输出能力远远超过Es，所以在考虑实时任务落入数据进入Es时要慎重。
6、Hive 数据 倾斜与 数据膨胀小记难得的周末。整理了一个星期的工作，发现最近一直被数据 倾斜这个问题困扰，我还是静下心来总结一下所谓的大雁留痕是什么吧。其实这个问题以前也遇到过，只是当时数据的金额不大，这个问题可以用另一种方式规避，现在，TB-class 数据已经无法规避，也很难从中吸取教训。把遇到的场景总结成以下三类，看具体场景，可以细分为以下几个问题。具体原理这里就不描述了，mapreduce的几个进程相当于合并器阶段，在维度表、小表(记录数在10000以下)的连接中经常出现map端的部分聚合。
