实时数据 →文件系统（Linux文件系统、HDFS等） →Hive 导入到hive，Load。（转成相应的hive表，导入后可直接使用HiveSQL查询） hive的内容分两部分：元数据、数据。 其中数据是存在HDFS中，元数据存在mysql中。 Hive数据仓库 Hive/mysql/HDFS关系 ...
分类：
其他好文 时间：
2021-04-26 13:27:01
阅读次数：
0
基于Hadoop的sqoop组件的部署 什么是 Sqoop Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql...) 间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的 数据导 ...
分类：
其他好文 时间：
2021-04-26 13:03:24
阅读次数：
0
set(CMAKE_BUILD_TYPE "Release")if( CMAKE_BUILD_TYPE STREQUAL "Debug" ) set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++11 -g -Wall -Wno-unused-variabl ...
分类：
其他好文 时间：
2021-04-24 13:16:43
阅读次数：
0
不多BB，直接开干！！！ 第一步：进入hive安装目录下面的conf目录，修改hive-site.xml文件 cd /opt/module/hive/conf vim hive-site.xml 第二步：修改如下内容 <property> <name>javax.jdo.option.Connect ...
分类：
其他好文 时间：
2021-04-24 11:50:36
阅读次数：
0
引言 Hive 中的默认分隔符是 ^A (\001) ，这是一种特殊的分隔符，使用的是 ASCII 编码的值，键盘是打不出来的 查看 Hive 默认分隔符文件 Linux 上的文件 以 \001 作为分隔符时，下载后用 notePad++ 打开时看到的 SOH 以 \002 作为分隔符时，下载后用n ...
分类：
其他好文 时间：
2021-04-23 11:54:19
阅读次数：
0
在项目中用到的是获取文件列表和下载文件，这个是可以的，其他应该也没问题 在对接sftp时必须引用的三个dll文件，可以从newGet包管理里面下载 DiffieHellman Org.Mentalis.Security Tamir.SharpSSH 我们是做了一个exe用sqlserver的job进 ...
尝试输出keras模型参数的时候，需要解决的问题： 1 import tensorflow.compat.v1 as tf 2 tf.disable_v2_behavior() 3 import numpy as np 4 weight = tf.get_variable(name='weights ...
分类：
其他好文 时间：
2021-04-21 12:37:02
阅读次数：
0
IDEA常用快捷键 记录学习，如有意见请联系！ 参考至：https://zhangxy.blog.csdn.net/article/details/103963249 1、编辑类快捷键 编辑类快捷键 说明 psvm + Tab 生成main方法 sout + tab 生成输出语句 Ctrl+X / ...
分类：
其他好文 时间：
2021-04-21 12:26:26
阅读次数：
0
前言 对于运行中的系统，可以说百分百的小伙伴会经常遇见以下问题： 网络不通，突然又好了； 服务器宕机了； 调用服务接口超时了； 调用接口报错啦； 通讯信息发送失败需要重发； 以上只是列举了一些常遇到的问题，对于一些小项目可能简单的处理一下就OK了(比如重启或是重新发布)，而对于微服务架构的项目，可能 ...
分类：
其他好文 时间：
2021-04-21 11:46:44
阅读次数：
0
浅谈Java里一个线程两次调用start()方法会出现什么情况 ...
分类：
编程语言 时间：
2021-04-19 15:57:37
阅读次数：
0
