一：Hadoop基本概念 一个分布式系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。 充分利用集群的威力进行高速运算和存储。 Hadoop的框架最核心的设计就是：HDFS和MapReduce 二：Hadoop解决问题 1.海量数据的存储（HDFS） ...
分类：
其他好文 时间：
2020-02-12 13:07:41
阅读次数：
128
1、Hive导出数据有几种方式？如何导出数据（1）insert导出本地：insertoverwritelocaldirectory‘本地路径‘select*from表名;导出到HDFS：insertoverwritedirectory‘hdfs路径‘select*from表名;（2）hadoop命令hdfsdfs-get/user/hive/warehouse/st
分类：
其他好文 时间：
2020-02-11 11:50:10
阅读次数：
59
启动hadoop -ls：显示文件夹内容 -put:上传到hdfs上 -cat:显示文件内容 hdfs文件读取成功：三种方式 ...
分类：
系统相关 时间：
2020-02-11 09:38:51
阅读次数：
116
Property列表链接：http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml 为什么会想着写这个？ 因为我在Deepin上配置Hadoop运行环境出了很多奇妙的问题，其中最恶心的就 ...
分类：
其他好文 时间：
2020-02-11 00:25:45
阅读次数：
71
今天按照实验三进行了相关的操作，实验三之前的是关于hadoop 以及hdfs的相关命令的使用，也包括Hadoop以及spark的安装，我之前就已经完成了相关环境的配置，所以我今天直接做了实验三中的spark shell命令的一部分，今天编程的部分因为之前理解了scala的一些编程方法所以今天进行的很 ...
分类：
系统相关 时间：
2020-02-10 19:42:49
阅读次数：
94
1、Hadoop概念 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high ...
分类：
其他好文 时间：
2020-02-10 09:50:14
阅读次数：
58
Hive简介 http://www.coin163.com/it/4435084950725826127 Hive的数据类型 https://cloud.tencent.com/developer/article/1165300 把HDFS上的数据导入到Hive中等操作 https://www.cn ...
分类：
Web程序 时间：
2020-02-09 16:14:33
阅读次数：
73
1131 cd /apps/hadoop/hdfs/namenode/ 1132 rm -rf current in_use.lock 1133 cd /apps/hadoop/hdfs/data/ 1134 rm -rf current in_use.lock 1135 cd /hadoop/hd ...
分类：
其他好文 时间：
2020-02-08 11:25:21
阅读次数：
80
1.hadoop集群的启动 cd $HADOOP_HOME //进入hadoop安装目录 sbin/start-dfs.sh //启动hdfs sbin/start-yarn.sh //启动yarn （或start-all.sh） 集群关闭： cd $HADOOP_HOME //进入hadoop安装 ...
分类：
系统相关 时间：
2020-02-07 00:58:00
阅读次数：
114
1、使用 Hadoop 提供的 Shell 命令完成如下操作 （1） 启动 Hadoop，在 HDFS 中创建用户目录“/user/hadoop” 其中遇到的问题： 解决方法： （2） 在 Linux 系统的本地文件系统的“/home/hadoop”目录下新建一个文本文件test.txt，并在该文件 ...
分类：
其他好文 时间：
2020-02-06 23:29:09
阅读次数：
154
