原创 大数据 Hive支持的文件存储格式 Hive支持的文件存储格式 Hive支持的存储数的格式主要有:TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。 2022-10-27 浏览(833) 评论(0) 阅读全文
原创 大数据 Hive优化 Hive优化 Hive的存储层依托于HDFS,Hive的计算层依托于MapReduce,一般Hive的执行效率主要取决于SQL语句的执行效率,因此,Hive的优化的核心思想是MapReduce的优化。 2022-10-25 浏览(381) 评论(0) 阅读全文
原创 大数据 Hive动态分区和分桶 Hive动态分区和分桶 hive的静态分区需要用户在插入数据的时候必须手动指定hive的分区字段值,但是这样的话会导致用户的操作复杂度提高,而且在使用的时候会导致数据只能插入到某一个指定分区,无法让数据散列分布,因此更好的方式是当数据在进行插入的时候,根据数据的某一个字段或某几个字段值动态的将数据插入到不同的目录中,此时,引入动态分区。 2022-10-15 浏览(748) 评论(0) 阅读全文