实时数据 →文件系统（Linux文件系统、HDFS等） →Hive 导入到hive，Load。（转成相应的hive表，导入后可直接使用HiveSQL查询） hive的内容分两部分：元数据、数据。 其中数据是存在HDFS中，元数据存在mysql中。 Hive数据仓库 Hive/mysql/HDFS关系 ...
分类：
其他好文 时间：
2021-04-26 13:27:01
阅读次数：
0
基于Hadoop的sqoop组件的部署 什么是 Sqoop Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql...) 间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的 数据导 ...
分类：
其他好文 时间：
2021-04-26 13:03:24
阅读次数：
0
不多BB，直接开干！！！ 第一步：进入hive安装目录下面的conf目录，修改hive-site.xml文件 cd /opt/module/hive/conf vim hive-site.xml 第二步：修改如下内容 <property> <name>javax.jdo.option.Connect ...
分类：
其他好文 时间：
2021-04-24 11:50:36
阅读次数：
0
引言 Hive 中的默认分隔符是 ^A (\001) ，这是一种特殊的分隔符，使用的是 ASCII 编码的值，键盘是打不出来的 查看 Hive 默认分隔符文件 Linux 上的文件 以 \001 作为分隔符时，下载后用 notePad++ 打开时看到的 SOH 以 \002 作为分隔符时，下载后用n ...
分类：
其他好文 时间：
2021-04-23 11:54:19
阅读次数：
0
和 Windows 一样，Linux 也有目录的概念。系统中众多的文件需要借助到目录进行存储与管理。我们下面对 Linux 系统中的目录结构以及经常使用到的概念进行一个完整介绍。 Linux 系统目录结构 在 Windows下，系统把硬盘划分为不同的磁盘分区，每个磁盘分配一个不同的盘符，比如 C:\ ...
分类：
系统相关 时间：
2021-04-22 16:34:05
阅读次数：
0
导入数据： #1、导入制表符分隔的数据 cat /data/ZDGL/stateAnalysis/dmt_term_stateAnalysisALL202010.txt | clickhouse-client -u default --password 6lYaUiFi --query="INSER ...
分类：
其他好文 时间：
2021-04-22 16:18:59
阅读次数：
0
Centos7重新分配分区 新装的系统安装时没有自定义分区，导致home的空间太大，但是home使用的并不多，所以打算重新规划分区： 1、查看分区 # df -h 2、卸载/home分区 # umount /home 如果出现 home 存在进程，使用 fuser -m -v -i -k /home ...
分类：
其他好文 时间：
2021-04-22 15:32:12
阅读次数：
0
spring: kafka: bootstrap-servers: 112.126.74.249:9092,112.126.74.249:9093 ###########【初始化生产者配置】########### producer: # 应答级别:多少个分区副本备份完成时向生产者发送ack确认(可选 ...
分类：
其他好文 时间：
2021-04-21 12:08:09
阅读次数：
0
1、对RDD的分区重新进行划分：rdd1.coalesce(num,boolean) 1 val rdd1 = sc.parallelize(Array[String]("love1", "love2", "love3", "love4", "love5", "love6", "love7", "l ...
分类：
其他好文 时间：
2021-04-21 11:54:31
阅读次数：
0
解决办法：apt-get update或者apt-get cleanapt-get update 或者 apt-get update --fix-missing问题解析1 source本身的问题 根据提示，我们首先应当 apt-get update 一下source,如果在apt-get updat ...
分类：
其他好文 时间：
2021-04-19 15:46:10
阅读次数：
0
