使用sqoop将hive中的统计数据导入到mysql中 思路：首先在hive上创建临时表，然后将统计数据放在临时表中，最后通过sqoop将临时表中的数据导入到mysql中。 例子：将各个官方部门回答的数量都导入到mysql中。 1.在hive中创建capital_temp表 create table ...
分类：
其他好文 时间：
2020-02-03 15:56:29
阅读次数：
286
版本：5.7.28服务器：mysql 192.168.4.201.MySQL存储引擎的配置查看服务支持的存储引擎查看默认存储类型更改表的存储引擎设置数据库服务默认使用的存储引擎查看存储引擎信息mysql> SHOW ENGINES;+ + + | Engine | Support |+ + + | ...
分类：
数据库 时间：
2020-02-03 12:09:26
阅读次数：
76
下载hbase: http://hbase.apache.org/downloads.htmlhttp://mirror.bit.edu.cn/apache/hbase/2.2.3/hbase-2.2.3-bin.tar.gz 解压hbase: 修改配置文件： (1)conf/hbase-env.c ...
1、《HBase基础概念知识学习》 https://www.toutiao.com/i6774215329498268164/ 2、《VM安装CentOS6.5》 https://www.toutiao.com/i6739774433692484109/ 3、《HBase基础环境搭建》 https: ...
分类：
其他好文 时间：
2020-02-02 13:35:37
阅读次数：
73
Hbase 创建表 插入数据 创建表 public static void main(String[] args) throws IOException { // Instantiating configuration class 初始化配置文件 Configuration con = HBaseC ...
分类：
其他好文 时间：
2020-02-01 12:44:11
阅读次数：
90
1 安装python的mysql驱动 $ conda install mysql-connector-python 2 测试mysql驱动是否安装成功 import不报错，即说明安装成功 >>> import mysql.connector 3 查询数据 # 导入MySQL驱动: import my ...
分类：
数据库 时间：
2020-01-31 10:56:13
阅读次数：
84
一、Hbase 简介 hdfs 是分布式文件系统, 只支持在文件层面的增、删除、改（需要把文件下载下来，改完，再上传上去）、查 hbase 是支持海量数据存储的NoSql数据库，基于hdfs的，支持数据的增、删、改、查，支持随机写数据（改指定的某一条数据） hbase 查询数据只能根据rowkey进 ...
分类：
其他好文 时间：
2020-01-30 19:24:15
阅读次数：
78
一、实验目的 （1）通过实验掌握基本的 MLLib 编程方法； （2）掌握用 MLLib 解决一些常见的数据分析问题，包括数据导入、成分分析和分类和 预测等。 二、实验平台 操作系统：Ubuntu16.04 JDK 版本：1.7 或以上版本 Spark 版本：2.1.0 数据集：下载 Adult 数 ...
分类：
其他好文 时间：
2020-01-29 23:28:10
阅读次数：
134
一、 ZooKeeper 简介 顾名思义 zookeeper 就是动物园管理员，他是用来管 hadoop（大象）、Hive(蜜蜂)、pig(小 猪)的管理员， Apache Hbase 和 Apache Solr 的分布式集群都用到了 zookeeper；Zookeeper: 是一个分布式的、开源的 ...
分类：
其他好文 时间：
2020-01-29 21:51:12
阅读次数：
65
一、问题 最近开发那边反应 的数据好像一个月没有更新了，登陆到 solr 的服务器，查看日志，有以下的报错日志。 二、问题原因 根据报错内容，我们查看其中的配置文件 发现在 password 的字段里面有个特殊字符 , 在 xml 中 是特殊字符，我们需要转义它让它正常显示为 。 三、问题解决 我们 ...
分类：
其他好文 时间：
2020-01-29 15:46:27
阅读次数：
93
