一、下载OSM数据 首先从 "OpenStreetMap官网" 下载我们需要的实验数据，这里我选择清华和北大校园作为本次实验数据 二、数据处理 将我们下载的实验数据导入ArcGIS。由于OSM数据是.osm格式，因此导入ArcGIS之前需要将其转换为.shp格式，具体方法见： "关于openstre ...
分类：
编程语言 时间：
2020-03-17 00:00:21
阅读次数：
162
原理：利用Oracle中的sqlldr和Linux的定时任务crontab实现 用v_inst_users表举例： 数据库表v_inst_users： CREATE TABLE V_INST_USERS( imsi VARCHAR2(60), telephone VARCHAR2(20), city ...
分类：
数据库 时间：
2020-03-15 17:35:03
阅读次数：
91
思路:一般的思路可以通过RMAN进行数据的恢复。由于数据库可以停机，因此，这次试用数据泵(expdp，impdp)进行数据 的导入导出。 1.源数据库导出 通过编写导出shell脚本导出数据，如下: 的脚本: 的脚本: 以上，导出多实例的全库数据。 2.数据导入 确定导入指定的数据库实例，这里实践的 ...
分类：
数据库 时间：
2020-03-15 11:29:19
阅读次数：
78
高可用 在HBase中HMaster负责监控HRegionServer的生命周期，均衡RegionServer的负载，如果HMaster挂掉了，整个HBase集群就出问题了，所以HBase支持对HMaster的高可用配置。 高可用配置是为了解决主从架构的单点失效故障问题。所以要对Master进行一个 ...
分类：
其他好文 时间：
2020-03-14 20:20:21
阅读次数：
58
之前有操作过HBase和Hive的案例，将30w条数据从Hive导入HBase。使用sqoop可以快速简单做到，但是在最新版HBase2.0与最新版Hive3.0之间，旧版sqoop不行，因此当时使用了JDBC来连接两者，达到数据导出的目的。 HBase与Hive的对比 Hive 作为数据仓库，Hi ...
分类：
其他好文 时间：
2020-03-14 18:38:23
阅读次数：
53
前面，我们已经打下了很多关于HBase的理论基础，今天，我们主要聊聊在实际开发使用HBase中，需要关注的一些最佳实践经验。 1.Schema设计七大原则 1）每个region的大小应该控制在10G到50G之间； 2）一个表最好保持在 50到100个 region的规模； 3）每个cell最大不应该 ...
分类：
其他好文 时间：
2020-03-14 16:26:44
阅读次数：
47
感觉效率不是很高，是否能用sqoop来解决HBase与其他文件系统的数据导入导出。 通过HBase的相关JavaApi，我们可以实现伴随HBase操作的MapReduce过程，比如使用MapReduce将数据从本地文件导入HBase的表中，或我们从HBase的表中读取一些原始数据用于MapReduc ...
分类：
其他好文 时间：
2020-03-14 14:51:51
阅读次数：
51
不多说，直接上步骤，同时附上一部分小白容易碰到的坑。 附环境：win10-x64系统，PostgreSQL-9.6.17，PostGIS-2.5.3。 1、安装PostgreSQL （1）在安装之前：检查电脑上是否已经存在postgres这个用户，如果不存在，则添加上这个用户，然后再去执行安装过程即 ...
分类：
其他好文 时间：
2020-03-12 18:39:30
阅读次数：
69
HA+Zookeeper搭建: hadoop完全分布式搭建: https://www.cnblogs.com/Hephaestus/p/12213719.html hadoop高可用搭建: https://www.cnblogs.com/Hephaestus/p/12420370.html Zook ...
分类：
其他好文 时间：
2020-03-12 09:59:28
阅读次数：
46
Python数据工具箱涵盖从数据源到数据可视化的完整流程中涉及到的常用库、函数和外部工具。其中既有Python内置函数和标准库，又有第三方库和工具。读者福利，想要了解python人工智能可直接点击链接即可领取相关学习福利包：石墨文档是安全网站放心，继续访问就可以领取了哦这些库可用于文件读写、网络抓取和解析、数据连接、数清洗转换、数据计算和统计分析、图像和视频处理、音频处理、数据挖掘/机器学习/深度
分类：
编程语言 时间：
2020-03-11 09:11:36
阅读次数：
83
