1、jar包问题，hadoop高版本中的htrace没有需要的类，需要从hadoop低版本里面复制一个jar包。 2、hdfs://mycluster/hbase mycluster必须在hosts文件中指定ip地址，否则无法找到 3、Operation category READ is not s ...
分类：
其他好文 时间：
2019-05-21 21:14:02
阅读次数：
204
1.HDFS简介 DataNode NameNode SecondaryNameNode HDFS文件权限 2.HDFS小结 3.HDFS交互操作 4.HDFS编程访问接口 ...
分类：
其他好文 时间：
2019-05-21 11:09:24
阅读次数：
77
一、说明 先创建一个hbase表格，能够导入本地数据到hbase中，最后能够通过phoneix进行访问。 1、数据准备（10W条，样例如下），文件test.txt 2、上传到hdfs /tmp/下 1、在hbase中创建好表 2、在phoenix中建立相同的表名以实现与hbase表的映射 注意： a ...
分类：
其他好文 时间：
2019-05-20 18:57:54
阅读次数：
149
Spark 资源优化 Excutor 1core 2- 4memory 4 -8 HDFS 1block 128MHDFS 128*2000 = 200 2000个block 应该如何在20节点work 16core 32G上面跑呢 根据以上的比例关系可以得出最大是 20 * 4 Excutor 8 ...
分类：
其他好文 时间：
2019-05-19 18:11:40
阅读次数：
108
//将从hbas数据库中用mr读取的数据放入到 hdfs中 注：引入 jar 包 //使用mr 将hbase数据库中的单词计算出来 创建表 wordcount 放入4条数据 在eclipce中 ...
分类：
其他好文 时间：
2019-05-18 18:53:51
阅读次数：
159
可能的原因如下： 1. 时间没有同步 HBase需要结点间的时间必须是同步的，可以使用date命令在Linux查看时间（同步时间命令：ntpdate 1.cn.pool.ntp.org） 2. 底层采用的不是hdfs协议 这个可以通过查看hbase-site.xml中参数hbase.rootdir的 ...
分类：
Web程序 时间：
2019-05-18 18:40:31
阅读次数：
174
package cn.itcast_01_hbase; import java.io.IOException;import java.util.ArrayList;import java.util.List; import org.apache.hadoop.conf.Configuration;i ...
分类：
其他好文 时间：
2019-05-18 09:23:21
阅读次数：
113
Spark 2.1.1 源码编译 标签（空格分隔）： Spark Spark 源码编译 环境准备与起因 由于线上Spark On Yarn Spark Streaming程序在消费kafka 写入HDFS table 使用Partition by 和 Savemode.append,在一定条件下导致 ...
分类：
其他好文 时间：
2019-05-18 00:45:07
阅读次数：
191
创建数据文件 把数据文件上传到集群 在HDFS上创建目录 把数据文件上传到HDFS上 登录Mysql 在mysql里创建一个表 现在需要从HDFS上把数据导入到mysql中对应的表 执行命令 查看Mysql表的数据 ...
分类：
数据库 时间：
2019-05-17 13:57:26
阅读次数：
221
使用 hadoop fsck /g6/input/baidu.log -files -blocks -locations -racks 命令，查看某个文件分成几个块，分别在那台机架的哪个机器上
分类：
其他好文 时间：
2019-05-17 12:12:34
阅读次数：
140
