1.1、概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等 1.2、sqoop1与 ...
分类：
其他好文 时间：
2020-05-31 19:30:40
阅读次数：
69
Spring Boot版本v1.5.19.RELEASE 1、增加Jar <dependency> <groupId>com.spring4all</groupId> <artifactId>spring-boot-starter-hbase</artifactId> <version>1.0.0. ...
分类：
编程语言 时间：
2020-05-31 16:23:21
阅读次数：
63
一、通用优化 1.1、NameNode 的元数据备份使用 SSD 1.2、定时备份 NameNode 上的元数据 建议每小时或者每天备份，如果数据极其重要，可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。 1.3、为 NameNode 指定多个元数据目录 使用 dfs.name.d ...
分类：
系统相关 时间：
2020-05-30 21:52:59
阅读次数：
105
第1章 Sqoop 简介 Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive) 与传统的数据库 (mysql,postgresql,...) 间进行数据的高校传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导入到 Hadoop 的 HDFS 中 ...
分类：
其他好文 时间：
2020-05-30 20:21:57
阅读次数：
82
1、HBase安装说明 JDK1.7以上 Hadoop-2.5.0以上 Zookeeper-3.4.5 2、Hadoop2.6安装 1) 解压 tar -zxvf hadoop-2.6.0.tar.gz 2) 配置hardoop的jdk cd /root/tools/hadoop-2.6.0/etc ...
分类：
其他好文 时间：
2020-05-30 15:46:42
阅读次数：
67
一、数据分析的步骤 二、提出问题： 如本考题三个题目所示： 三、获取数据源 采用本考题提供的数据源：data..xlsx 分析工具：Excel、Jupyter Notebook 环境：Window10 语言：python 四、理解数据 #导入数据 import pandas as pd dataDf ...
分类：
其他好文 时间：
2020-05-29 23:07:50
阅读次数：
89
继续来说编辑器的需求， 前面介绍了拖拽创建节点、以及连线的方法，并加入到了其后的 Qunee 类库，实际应用中需要更多功能，Qunee 的拓扑图编辑器也在逐渐完善，一方面增加多种编辑交互，一方面提供数据导入导出，同时也在摸索编辑器的整体界面设计和前端开发框架 拖拽创建节点 延续之前提供的功能，增加更 ...
分类：
Web程序 时间：
2020-05-28 23:52:59
阅读次数：
102
第一篇scrum冲刺博客 一.Alpha阶段各成员任务 鲍鱼铭 任务名称 预计时间 主页页面和探测空间设计及布局实现 6h 主页页面跳转社区功能及社区设计及布局实现 6h 搜索页面跳转、设计及布局实现 5h 音乐详情页面跳转、设计及布局实现设计 4h 搜索页面以及音乐详情页面数据导入及测试 4h 各 ...
分类：
其他好文 时间：
2020-05-28 23:34:23
阅读次数：
80
Redis是一个基于内存的高效的键值型非关系型数据库，存取效率极高，而且支持多种存储数据结构，使用也非常简单。本节中，我们就来介绍一下Python的Redis操作，主要介绍RedisPy这个库的用法。 1. 准备工作 在开始之前，请确保已经安装好了Redis及RedisPy库。如果要做数据导入/导出 ...
分类：
编程语言 时间：
2020-05-28 21:38:02
阅读次数：
71
1.介绍 Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询，同时也可以将hive表中的数据映射到HBase中； 2.模型概念 2.1 将ETL操作的数据存入HBase 2.2 HBase作为Hive的数据源 2.3 构建 ...
分类：
其他好文 时间：
2020-05-25 14:00:35
阅读次数：
51
