ORBSLAM2代码总结 https://blog.csdn.net/hzwwpgmwy/article/details/82462988 ORBSLAM2局部地图更新实现 https://blog.csdn.net/u011380574/article/details/77968866 ORBSL ...
分类:
其他好文 时间:
2019-06-08 16:23:25
阅读次数:
119
Centos所有版本链接:http://archive.kernel.org/centos-vault/ 我下载的是6.9版本 Centos安装过程 选择重置磁盘 自定义分区 分区方式 这里分区方式: boot 引导系统启动 swap 如果内存<8G swap是内存1.5倍 交换分区 临时作为内存使 ...
分类:
系统相关 时间:
2019-06-07 20:43:08
阅读次数:
185
进行在分布式集群上跑MapReduce的时候,通过脚本来运行,发现提示找不到相应的命令。 错误的原因就是一条命令不要有空格,在等于号两边不要有空格,不要有空格,不要有空格。 有空格就会报错。 ...
分类:
系统相关 时间:
2019-06-07 12:42:43
阅读次数:
175
1.日期格式转换(将yyyymmdd转换为yyyy-mm-dd) 2..hive去掉字段中除字母和数字外的其它字符 3.hive解析json字段 content字段存储json {"score":"100","name":"zhou","class":''math"},若要对json进行解析,则可用 ...
分类:
其他好文 时间:
2019-06-06 18:43:42
阅读次数:
81
一、zookeeper1、安装继续—>完成;二、HDFS1、安装继续—>完成;三、yarn、hive1、安装yarn继续—>完成;2、安装hive继续—>完成;3、测试hivehive> show tables;OKTime taken: 0.41 secondshive> create table... ...
分类:
其他好文 时间:
2019-06-06 15:46:38
阅读次数:
120
1.Presto简介说明 Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。 Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。 Presto支持在线数据查询,包括Hive, Cassandra, ...
分类:
其他好文 时间:
2019-06-05 12:43:33
阅读次数:
114
一、应用场景 比如:对于数据安全要求比较严格的机房,服务器是不允许上网的。那么我现在开发了一套python程序,需要一些模块,怎么运行? 二、离线包制作 有2个解决方案: 1. 使用requirement.txt离线安装打包好的包whl 请参考链接:https://blog.csdn.net/wan ...
分类:
编程语言 时间:
2019-06-05 09:22:38
阅读次数:
107
第8章 压缩和存储 8.1 Hadoop源码编译支持Snappy压缩 8.1.1 资源准备 1.CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意:采用root角色编译,减少文件夹权限出现问题 2.jar包准备(hadoop源码、JDK ...
分类:
其他好文 时间:
2019-06-05 00:22:54
阅读次数:
175
一:Kafka概述 离线部分: Hadoop->离线计算(hdfs / mapreduce) yarn zookeeper->分布式协调(动物管理员) hive->数据仓库(离线计算 / sql)easy coding flume->数据采集 sqoop->数据迁移mysql->hdfs/hive ...
分类:
其他好文 时间:
2019-06-04 09:20:50
阅读次数:
124
Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据 ...
分类:
其他好文 时间:
2019-06-02 22:55:47
阅读次数:
138