Spark 任务调度

Spark 任务调度

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_41455420/article/details/79462349 Spark 任务调度 1. 任...
Spark基础知识详解

Spark基础知识详解

         Apache Spark是一种快速通用的集群计算系统。 它提供Java,Scala,Python和R中的高级API,以及支持通用执行图的优化引擎。 它还支持一组丰富的高级工具,包...
Spark笔记——技术点汇总

Spark笔记——技术点汇总

http://www.cnblogs.com/netoxi/p/7223412.html 目录 · 概况 · 手工搭建集群     · 引言     · 安装Scala     · 配置文件     · 启动与测试 · 应用部署     · 部...
Spark简单介绍&安装步骤

Spark简单介绍&安装步骤

Spark 1.spark 概述 spark概念 基于内存的分布式计算系统,计算速度很快,只是用于数据的计算,不涉及到数据的存储.可以对接外部数据源(例如HDFS) Spark是一...
Spark 官网阅读笔记

Spark 官网阅读笔记

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_27882063/article/details/79887850 1.spark读取本地文件系...
HIVE行转列和列转行

HIVE行转列和列转行

行转列 select dt_month,valid_num,unvalid_num from test.test_xw_rowtocol 数据如下 转换要求:行转列需保留列名,如下图 方式一:采用union all的形式 select ...
hive: str_to_map使用案例

hive: str_to_map使用案例

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/xgjianstart/article/details/55055364 使用说明: https://cwiki.apac...
Hive的架构及元数据三种存储模式

Hive的架构及元数据三种存储模式

文章目录 什么是Hive? Hive的特点 Hive的架构 元数据存储模式 什么是Hive?   Hive最初是由FaceBook公司开发的一个基于Hadoop框架并且开源的一个数据...
Hadoop mac安装 (亲测有效)

Hadoop mac安装 (亲测有效)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/h1021456873/article/details/79266925 当jdk安装完毕以及ssh配置都成...
Hadoop-Streaming 高级参数

Hadoop-Streaming 高级参数

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/xuxiuning/article/details/51104902 理解以下选项 -files <...