spark笔记之数组、映射、元组、集合

spark笔记之数组、映射、元组、集合

1.1. 数组1.1.1. 定长数组和变长数组 (1)定长数组定义格式: val arr=new Array[T](数组长度) (2)变长数组定义格式: val arr = ArrayBuffer[T]() 注意需要导包:...
Spark小技巧之pivot

Spark小技巧之pivot

最近在用spark处理数据的时候,遇到了这样一种需求:我想统计每个城市在工作日和周末早高峰、晚高峰、夜高峰和普通时间段的订单数,并且早高峰、晚高...
hive中的NULL(hive空值处理)

hive中的NULL(hive空值处理)

HIVE表中默认将NULL存为\N,可查看表的源文件(hadoop fs -cat或者hadoop fs -text),文件中存储大量\N, 这样造成浪费大量空间。而且用java、python直接进入路径操...
Hive 临时表

Hive 临时表

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/opensure/article/details/51378754 Hive从0.14.0开始提供创建临时表的...
Hive多用户操作以及权限管理

Hive多用户操作以及权限管理

         Hive是基于Hadoop的一个数据仓库工具,是一种逻辑上的数据库,依赖hdfs文件系统;它把实际的数据文件映射为一张数据库表来作为元数据来管理hdfs上的数据。H...
自定义hive永久函数详细步骤

自定义hive永久函数详细步骤

自定义hive永久函数详细步骤 需求原因: 本公司有部门需要,hive本身提供一个nvl的函数,但是该函数只对null值起作用,现在的需求是不只是对null起作用,对“”这...