一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop，启动hive 3.创建数据库，创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计1.准备电子书或其它大的文本文 ...
分类：
其他好文 时间：
2020-12-10 11:24:10
阅读次数：
6
一、概述slf4j(全称是SimpleLogingFacadeForJava)是一个为Java程序提供日志输出的统一接口，并不是一个具体的日志实现方案，就好像我们经常使用的JDBC一样，只是一种规则而已。因此单独的slf4j是不能工作的，它必须搭配其他具体的日志实现方案，比如apache的org.apache.log4j.Logger，jdk自带的java.util.logging.Logger等
分类：
其他好文 时间：
2020-12-10 11:04:30
阅读次数：
2
一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop，启动hive 3.创建数据库，创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本 ...
分类：
其他好文 时间：
2020-12-10 10:59:18
阅读次数：
4
一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop，启动hive 3.创建数据库，创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本 ...
分类：
其他好文 时间：
2020-12-10 10:55:10
阅读次数：
3
一、hive用本地文件进行词频统计 1.准备本地txt文件 mkdir wc cd wc echo "hadoop hbase" > f1.txt echo "hadoop hive" > f2.txt 2.启动hadoop，启动hive start-all.sh hive 3.创建数据库，创建文本 ...
分类：
其他好文 时间：
2020-12-09 12:15:14
阅读次数：
5
[root@node1 tasks]# cat main.yml name: 拷贝JKD到目标服务器 unarchive: src={{ jdk_pkg }} dest={{ jdk_dir }} mode=755 name: 添加环境变量 blockinfile: dest: /etc/profi ...
分类：
其他好文 时间：
2020-12-09 12:12:06
阅读次数：
6
利用Spark往Hive中存储parquet数据，针对一些复杂数据类型如map、array、struct的处理遇到的问题？为了更好的说明导致问题 ...
分类：
其他好文 时间：
2020-12-08 12:44:11
阅读次数：
4
连接数据库 1 public class DbConnection { 2 3 public Connection getDbConnection() { 4 //声明一个连接类Connection类，它的实例对象用来保存和数据库的连接 5 Connection con = null; 6 //定义 ...
分类：
数据库 时间：
2020-12-07 12:06:03
阅读次数：
8
JDBC基本概念 Java数据库连接，也就是使用Java语言操作数据库。 本质： 其实是官方（SUN公司）定义的一套操作所有关系型数据库的规则，即接口。各个数据库厂商去实现这套接口，提供数据库驱动jar包，我们可以使用这套接口（JDBC）变成，整整执行的代码是驱动jar包中的实现类。 JDBC快速入 ...
分类：
数据库 时间：
2020-12-07 12:03:08
阅读次数：
21
前言 在本机模拟器的ubuntu18版本上进行的部署测试，参考的官方文档： hadoop: 链接地址 hive: 链接地址 使用的版本： hadoop: 3.2.1 hive: 3.1.2 全程是使用root账号进行的配置。 hadoop安装配置 hadoop使用的是虚拟集群，即单机模拟集群，dat ...
分类：
其他好文 时间：
2020-12-05 10:52:38
阅读次数：
7
