1.6、flume案例一 1. 案例场景 A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log 现在要求： 把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。 但是在hdfs中要求的 ...
分类：
Web程序 时间：
2019-06-25 11:52:54
阅读次数：
229
一、高可用简介 二、集群规划 三、前置条件 四、集群配置 五、启动集群 六、查看集群 七、集群的二次启动 一、高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性 ...
分类：
其他好文 时间：
2019-06-25 09:44:28
阅读次数：
100
收集hive的log hive的运行日志： /home/hadoop/CDH5.3.6/hive-0.13.1-cdh5.3.6/log/hive.log* memory*hdfs /user/flume/hive-log 1.需要四个包： 传到/home/hadoop/CDH5.3.6/flume ...
分类：
Web程序 时间：
2019-06-23 20:43:26
阅读次数：
119
数据发生器产生的数据被被单个的运行在数据发生器所在服务器上的agent所收集，之后数据收容器从各个agent上汇集数据并将采集到的数据存入到HDFS或者HBase中。 一个数据单元，消息头和消息体组成。（Events可以是日志记录、 avro 对象等。） Flume 运行的核心是 Agent。Flu ...
分类：
其他好文 时间：
2019-06-21 12:42:20
阅读次数：
107
我们对HDFS的理论技术基础已经基本了解，既然它是一个文件系统，类似于我们日常使用的本地文件系统，我们就可以通过命令行的一些命令来与其进行交互，接下来主要介绍其命令行接口。其主要的操作无非就是：读取文件、新建目录、移动文件、删除数据、列出目录等等。 ...
分类：
其他好文 时间：
2019-06-20 18:45:59
阅读次数：
132
1、dfs.nameservices 说明：为namenode集群定义一个services name 默认值：null 比如设置为：ns1 2、dfs.ha.namenodes.<dfs.nameservices> 说明：nameservice 包含哪些namenode，为各个namenode起名 ...
分类：
其他好文 时间：
2019-06-19 20:15:34
阅读次数：
76
1. hdfs dfs -appendToFile 本地文件 远程文件 将本地文件追加到远程文件后面 2. hdfs dfs -copyFromLocal 本地文件 远程文件 hdfs dfs -put 把本地文件复制到hdfs上 3. hdfs dfs -copyToLocal 远程文件 本地文件 ...
分类：
系统相关 时间：
2019-06-18 12:10:20
阅读次数：
124
hadoop-env.sh：脚本中所用到的环境变量，以运行Hadoop mapred-env.sh：脚本中所用到的环境变量，以运行mapreduce yarn-env.sh：脚本中所用到的环境变量，以运行YARN core-site.xml：hadoop core 的配置选项，如HDFS，MapRe ...
分类：
其他好文 时间：
2019-06-17 10:52:44
阅读次数：
97
第一节：数据库 Hive的数据库同mysql中的数据库，将数据进行细化管理，不同业务模块的数据放在一个数据库中。 第二节：数据表 一、按管理权限分 1、内部表 管理权限是hive自己，hive对表中的数据（原始数据）有绝对的增删权限的。内部表在进行删除表的时候，表中的数据（hdfs对应的目录）会被删 ...
分类：
其他好文 时间：
2019-06-17 00:43:46
阅读次数：
117
文章大纲 一、大数据概念介绍二、大数据处理逻辑三、数据库处理关键技术四、数据相关从业者和角色五、参考文章 一、大数据概念介绍 https://www.jianshu.com/p/5b488c39af80 二、大数据处理逻辑 大数据处理的数据级别通常在PB以上（PB是数据存储容量的单位，它等于2的50 ...
分类：
其他好文 时间：
2019-06-15 13:47:30
阅读次数：
189
