hive notes

hive notes

1. /nasshare/data 数据备份文件路径 2. load data local inpath .....提示上传失败,考虑将加载文件: cp /home/hdfs/路径;执行chown hdfs:hdfs u.data语句
HADOOP -hdfs of wordcount

HADOOP -hdfs of wordcount

package com.younglibin.hadoop.test; import java.io.BufferedReader; import java.io.FileOutputStream; import java.io.FileReader; import java.io.IOEx...
记录

记录

HDFS工作组分 和 HDFS写入数据时的过程 hdfs读取数据的过程 及 大数据的技术框架 hadoop与spark   vim的三种模式 linux文件的权限学习 http://www.cnblogs.c...
启动停止守护进程

启动停止守护进程

一 格式化hdfs文件系统 hdfs namenode -format   //hdfs在hadoop/bin目录下 二 启动hdfs和yarn的守护进程 start-dfs.sh   //start-dfs.sh和start-yarn.sh在/usr/soft/...
Hadoop  API

Hadoop API

HDFS JAVA APIversion 273 HBASE JAVA APIversion 124 MAPREDUCE JAVA APIversion 273 HDFS JAVA API(version 2.7.3) HDFS 分布式文件系统JAVA API。与loca...
重新格式化HDFS的方法

重新格式化HDFS的方法

重新格式化hdfs系统的方法: (1)查看hdfs-ste.xml: <span style="font-size:18px;"><property>     <name>dfs.namenode.name.dir</na...
使用flume将avro文件上传到hdfs上

使用flume将avro文件上传到hdfs上

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/strongyoung88/article/details/54407011 使用flume将avro文件...
Hadoop—HDFS的Java客户端编程

Hadoop—HDFS的Java客户端编程

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Xw_Classmate/article/details/50637108     可以使用HDFS Shell命令来...
Parquet 笔记

Parquet 笔记

Glossary (术语) Block (hdfs block): This means a block in hdfs and the meaning is unchanged for describing this file format. The file format is d...
hadoop格式化权限不够解决

hadoop格式化权限不够解决

[hadoop@xuniji ~]$ hadoop namenode -format DEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it./home/h...