1.下载Flume源码并导入Idea开发工具 1）将apache-flume-1.7.0-src.tar.gz源码下载到本地解压 2）通过idea导入flume源码 打开idea开发工具，选择File——》Open 然后找到flume源码解压文件，选中flume-ng-hbase-sink，点击ok ...
分类：
Web程序 时间：
2019-05-10 16:34:53
阅读次数：
226
（一）Hive 概述 （二）Hive在Hadoop生态圈中的位置 （三）Hive 架构设计 （四）Hive 的优点及应用场景 （五）Hive 的下载和安装部署 1.Hive 下载 Apache版本的Hive。 Cloudera版本的Hive。 这里选择下载Apache稳定版本apache-hive- ...
分类：
其他好文 时间：
2019-05-10 16:19:14
阅读次数：
177
HBase学习之BulkLoad 参考资料： 1、https://blog.csdn.net/shixiaoguo90/article/details/78038462，使用hbase自带的importtsv实现bulkload，重点参考，hbase自带的bulkload只有在hbase1.0版本中 ...
分类：
其他好文 时间：
2019-05-09 15:52:44
阅读次数：
178
天天互联网寒冬，其实哪里有什么互联网寒冬，只不过是你穿的少而已，有那个时间去关心互联网寒冬会倒下多少人，还不如学习一下这些Java进阶技术. 其涵盖的技术点比较全面，并非一朝一夕能够全部覆盖到的。对于一些还没有入门或者刚刚入门的Java后端工程师，如果一下子需要学习如此多的知识，想必很多人会望而却步 ...
分类：
编程语言 时间：
2019-05-09 11:03:37
阅读次数：
149
使用Kettle报错的解决方法 1.当你在navicat上面测试数据库连接的时候可以看到数据库连接成功。而在Kettle上面连接同样的库的时候报出一大段错误出来，这时候是不是感觉有点懵逼了。 错误内容如下： 错误连接数据库 [test库] : com.tyky.di.core.exception.X ...
分类：
数据库 时间：
2019-05-06 23:35:26
阅读次数：
724
1.sqoop的概述a.sqoop 是一款工具，是appche 旗下的一款工具，主要是负责 hadoop与RDBMS之间的数据迁移，即从hadoop 文件系统 导出数据到RDBMS,从RDBMS导入数据到hadoop hdfs,hive,hbase等数据存储系统。b.其实就是将 sqoop命令转换成 ...
分类：
其他好文 时间：
2019-05-06 19:26:59
阅读次数：
129
1、安装JDK 2、下载Kettle 3、将文件解压，点击Spoon.bat文件，启动kettle. 4、创建资源库 点击Connet,选择Pentaho Repository 注意： 1、在使用mysql进行连接测试的时候，一定要找到相应的驱动包，我的是5.1.20jar包这个可以百度找一下， 或 ...
分类：
其他好文 时间：
2019-05-05 15:58:17
阅读次数：
239
环境准备 配置hbase # 修改 hbase-env.sh 的 JAVA_HOME 环境变量位置 安装pinpoint ...
分类：
其他好文 时间：
2019-05-05 15:54:10
阅读次数：
143
需求:将前些日子采集的评论存储到hbase中 思路: 先用fastjson解析评论,然后构造rdd,最后使用spark与phoenix交互,把数据存储到hbase中 部分数据: 1 [ 2 { 3 "referenceName": "Apple iPhone XR 64GB 黑色 移动联通电信4G全 ...
分类：
编程语言 时间：
2019-05-04 20:11:08
阅读次数：
223
