执行Sqoop中import命令后报错 Warning: /opt/module/sqoop/bin/../../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your H ...
分类：
其他好文 时间：
2020-01-25 16:56:24
阅读次数：
444
Hbase:基于hdfs的数据库,来源于google的一篇论文bigtable.基于HDFS实现高可用、分布式、列式存储、核心包括：-Rowkey: 可以简单理解成mysql中的主键-列簇，列-时间戳按照Rowkey字典顺序存储，基于rowkey的高效检索，同时继承hdfs的高吞吐能力。Hbase用 ...
分类：
其他好文 时间：
2020-01-25 15:31:49
阅读次数：
94
日期：2020.01.24 博客期：132 星期五 好了今天是除夕，先给大家说句吉利话，“祝大家打代码代代顺利，码码成功”！我因为回家了，今天没做太多东西... ...呼~ 登录虚拟机，启动hadoop和hive，准备做数据处理部分！ //建数据库的语句 create table govdata( ...
分类：
编程语言 时间：
2020-01-24 18:44:16
阅读次数：
85
大数据环境需要的安装包合集，包括： apache flume 1.7.0 bin.tar.gz apache hive 1.2.1 bin.tar.gz hadoop 2.7.2.tar.gz hbase 1.3.1 bin.tar.gz jdk 8u144 linux x64.tar kafka_ ...
分类：
其他好文 时间：
2020-01-24 17:25:13
阅读次数：
88
一、实验目的 （1）掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法； （2）熟悉 HDFS 的基本使用方法； （3）掌握使用 Spark 访问本地文件和 HDFS 文件的方法。 二、实验平台 操作系统：Ubuntu16.04； Spark 版本：2.1.0； Hadoop 版 ...
分类：
其他好文 时间：
2020-01-24 17:13:10
阅读次数：
113
hive导出到本地数据报错 Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source hdfs://localhost:9000/tmp/hive/daisy/ ...
分类：
其他好文 时间：
2020-01-24 15:50:13
阅读次数：
201
启动postfix的时候报错： [root@hadoop002 tmp]# systemctl enable postfix && systemctl start postfix Job for postfix.service failed because the control process e ...
分类：
其他好文 时间：
2020-01-22 21:58:29
阅读次数：
90
大部分人没有交换分区的问题。 因为在做Linux的时候交换分区是按照内存的2倍来做的。但是我的是用VM快速装机做的。所以交换分区被设置成了等于内存。 扩展交换分区：https://blog.csdn.net/Ares_song/article/details/81203251 永久添加该文件：htt ...
分类：
Web程序 时间：
2020-01-22 14:50:26
阅读次数：
210
hadoop 集群中有两种节点，一种是namenode，还有一种是datanode。 其中datanode主要负责数据的存储，namenode主要负责三个功能，分别是(1)管理元数据 (2)维护目录树 (3)响应客户请求 首先介绍下，元数据格式 hdfs在外界看来就是普通的文件系统，可以通过路径进行 ...
分类：
其他好文 时间：
2020-01-22 13:07:22
阅读次数：
117
1、pom.xml 版本号 <properties> <hbase.version>2.2.2</hbase.version> <hadoop.version>2.10.0</hadoop.version> <spark.version>2.4.2</spark.version> </propert ...
分类：
其他好文 时间：
2020-01-22 12:57:25
阅读次数：
62
