hadoop入门分析（一） 基本架构 ? 这里呢我们将简单的对大数据进行一个初步的认识，毕竟大家都知道，无论是学习一项新技术还是一项新的什么其他的技能，光靠死记硬背是很难背下来的。重要的是对于你要掌握的东西的一个理解，有了理解，那就容易多了不是。所以人狠话不多，废话不多说，接下来就和大家一起探讨下大 ...
分类：
其他好文 时间：
2020-01-13 16:10:29
阅读次数：
65
1. HBase连接的方式概况 主要分为： 纯Java API读写HBase的方式； Spark读写HBase的方式； Flink读写HBase的方式； HBase通过Phoenix读写的方式； 第一种方式是HBase自身提供的比较原始的高效操作方式，而第二、第三则分别是Spark、Flink集成H ...
分类：
其他好文 时间：
2020-01-13 12:28:18
阅读次数：
99
1.FTP在主机和虚拟机之间传文件。 这里需要注意的是，Linux系统对文件访问权限有着严格的规定，如果目录和文件的访问权限没有授权给某个用户，那么，该用户是无法访问这些目录和文件的。所以，当使用FileZilla连接Linux虚拟机时，如果采用用户名hadoop连接，那么，就只能把文件上传到Ubu ...
分类：
其他好文 时间：
2020-01-12 21:59:10
阅读次数：
103
EROR: Version file does not exist in root dir hdfs://XXXXXXX:8020/tmp/hbase-hbase/hbase 出错原因是hbck在gateway执行的，gateway的配置与hmaster的不一致，在hmaster执行hbck并无不一 ...
分类：
其他好文 时间：
2020-01-12 13:48:15
阅读次数：
170
1 解压软件包 2 copy server包到对应节点 3 scp /mnt/software/phoenix-4.14.1-cdh5.16.1-server.jar hadoop002:/opt/cloudera/parcels/CDH/lib/hbase/lib/ 4 添加配置 <propert ...
分类：
其他好文 时间：
2020-01-12 13:34:10
阅读次数：
105
1 详细异常 发现疑似目录：/var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state下存在： 005615.sst 005638.log 005640.log CURRENT LOCK MANIFEST-004397移除所有文件。重启nodemanage ...
分类：
数据库 时间：
2020-01-12 13:24:29
阅读次数：
94
cat /etc/passwd | grep hbase hbase:x:980:990:HBase:/var/lib/hbase:/bin/false 修改一下用户权限 usermod -s /bin/bash hbase ...
分类：
其他好文 时间：
2020-01-12 13:22:40
阅读次数：
89
import logging# 创建一个loggerlogger = logging.getLogger('hadoop')logger.setLevel(logging.DEBUG)# 创建一个handler，用于写入日志文件log_file = 'D:\pythonproj\hadoop_too ...
分类：
其他好文 时间：
2020-01-12 13:05:03
阅读次数：
88
hive基础 大数据特性与应用 分布式架构概念 Hadoop2.x系统介绍 掌握hive基础建表，以及表格式 了解hive查询 了解正则表达式 1、hive的简介‘’ hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类sql的查询功能 hive的本质： ...
分类：
其他好文 时间：
2020-01-11 22:12:42
阅读次数：
106
HBase表模式的设计 对于HBase表，在设计表结构之前，我们需要先考虑的几个问题： 这个表应该有多少个列族？ 列族使用的是什么数据？ 每个列族应该有多少列？ 列名应该是什么？尽管列名不必在建表的时候定义，但是后期读写数据时是需要知道的。 单元存放什么数据？ 每个单元存储多少个时间版本？ 行健结构 ...
分类：
其他好文 时间：
2020-01-11 16:56:56
阅读次数：
108
