报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly** 首先检查HiveConf类是否存在：[hadoop@hadoop01 app]$ cd apache-h ...
分类：
其他好文 时间：
2019-12-26 19:51:28
阅读次数：
72
pom中应该有hive-exec、hive-jdbc、hive-server的依赖： <properties> <hadoop.version>2.6.0-cdh5.7.0</hadoop.version> <hive.version>1.1.0-cdh5.7.0</hive.version></p ...
分类：
其他好文 时间：
2019-12-26 19:43:02
阅读次数：
104
IDEA中的scala项目访问HDFS，程序运行，可能出现的异常： 权限问题：Permission denied: user=СÎ÷?Îè, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x 修改运行时参数，因为HDFS上的文件所属的用户是ha ...
分类：
数据库 时间：
2019-12-26 19:33:00
阅读次数：
103
IDEA程序代码中需要访问mysql，出现 java.sql.SQLException: No suitable driver found for jdbc://mysql://hadoop001:3306/ruoze_g6 有可能是驱动没加进来，有可能是连接地址url写错了。 需要在pom中加上m ...
分类：
数据库 时间：
2019-12-26 19:16:29
阅读次数：
103
步骤：1）MySQL的驱动2）Connection 重量级的获取过程。可以使用POOL优化3）Statement 执行的类4）ResultSet 结果的封装5）Close 在pom中添加scala、hadoop、Mysql驱动依赖包： <properties> <scala.version>2.11 ...
分类：
数据库 时间：
2019-12-26 19:09:52
阅读次数：
97
一、Hbase基本原理 1、hbase基本介绍 HBASE是一个分布式的，面向列的开源数据库。Hbase的存储是基于hadoop的。因为Hadoop实现了一个分布式文件系统（HDFS），基于hadoop意味着hbase与生俱来的超强的扩展性和吞吐量，hbase采用的是key、value的存储方式。意 ...
分类：
数据库 时间：
2019-12-26 17:38:01
阅读次数：
82
1创建工程点击project——Maven——next2通过maven导入项目依赖jar包（1）设置maven自动导入依赖jar包勾选ImportMavenprojectsautomatically,点击apply(2)配置pom.xml文件pom.xml配置文件如下：<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http:
分类：
其他好文 时间：
2019-12-26 16:05:27
阅读次数：
84
hadoop序列化：序列化：将对象序列化成字节序列 （方便磁盘存储和网络传输）反序列化：将字节序列转换成对象hadoop的序列化的优点：（只对数据进行序列化）紧凑 快速 可扩展 可以跨语言交互序列化步骤1:使用Writer接口 implements Writable步骤2 /** * 注意点： * ...
分类：
其他好文 时间：
2019-12-25 20:44:54
阅读次数：
83
springboot-habse: https://github.com/spring-projects/spring-hadoop-samples/tree/master/hbase 依赖： <dependency> <groupId>org.springframework.data</group ...
分类：
编程语言 时间：
2019-12-25 16:27:57
阅读次数：
242
1. 摘要 对于大数据而言，数据仓库承载着整个企业的全业务的数据。早期数仓在关系型数据如Oracle，MySql上。到大数据时代，基于hadoop生态的大数据架构，数仓基本上都是基于hive的数仓。对于很多大数据开发者而言，特别是早期，很多开发者认为hive数仓就是和业务相关，隐射Hdfs数据文件的 ...
分类：
其他好文 时间：
2019-12-24 19:02:30
阅读次数：
109
