Block是文件块，HDFS中是以Block为单位进行文件的管理的，一个文件可能有多个块，每个块默认是3个副本，这些块分别存储在不同机器上。块与文件之前的映射关系会定时上报Namenode。HDFS中一个块的默认大小是64M，其大小由参数dfs.block.size控制。这里面先引申几个问题出来： ...
分类：
其他好文 时间：
2020-09-03 16:43:21
阅读次数：
40
主攻个人数据分布式存储的HDFS的优势在哪？互联网的纪元中，数据就是一切，互联网环境下任何人的一切活动都会在网络中留下属于自己的印迹—数据碎片，这些我们不经意间留下的数据碎片如果被有心人收集、利用起来会对我们个人的兴趣爱好甚至是隐私产生不利的影响。不知道你有没有这样的体验，当你用搜索引擎了解某种商品之后，某些电商平台会给你不断的推送类似的商品，显然这不是巧合而是你的某些数据“出卖”了你的意图。随着
分类：
其他好文 时间：
2020-09-02 16:46:50
阅读次数：
47
一、hdfs的命令行使用 1、ls 格式：hdfs dfs -ls URI 作用：类似于Linux的ls命令，显示文件列表 2、-ls -R 格式 : hdfs dfs -ls -R URI 作用: 在整个目录下递归执行ls, 与UNIX中的ls-R类似 3、mkdir 格式：hdfs dfs [- ...
分类：
其他好文 时间：
2020-08-28 11:45:33
阅读次数：
51
安装node和yarn一、node安装1、下载nodewgethttp://nodejs.org/dist/v12.16.3/node-v12.16.3-linux-x64.tar.gz1、下载node-v12.16.3wgethttp://nodejs.org/dist/v12.16.3/node-v12.16.3-linux-x64.tar.gz2、解压tar-zxvfnode-v12.16.
分类：
其他好文 时间：
2020-08-26 18:45:48
阅读次数：
50
1.什么是聚合聚合是MongoDB的高级查询语言，它允许我们通过转化合并由多个文档的数据来生成新的在单个文档里不存在的文档信息。MongoDB中聚合(aggregate)主要用于处理数据(诸如统计平均值，求和等)，并返回计算后的数据结果，有点类似sql语句中的count(*)。在MongoDB中，有两种方式计算聚合：Pipeline和MapReduce。Pipeline查询速度快于MapReduc
分类：
数据库 时间：
2020-08-19 20:09:42
阅读次数：
128
服役新的节点 1、首先克隆一个新的虚拟机，里面的hadoop等环境都配好了 之后修改ip通过 root进行登录，在原本好的虚拟机上进行分发操作 之后再发java 发环境变量 在新的虚拟机上进行： 这是重新运行环境变量 之后进入hadoop删除data和logs让他变成一个全新的机器 就会发现 dat ...
分类：
其他好文 时间：
2020-08-19 19:07:03
阅读次数：
65
####首先保证Node891或Node811等版本装成功了###### /opt/bigdata/elk/node891 ################ 修改目录权限 #################### [root@vwmaster hadoop]# chown -R root:root ...
分类：
其他好文 时间：
2020-08-17 17:45:14
阅读次数：
70
1. 通过yarn的 http://node2:8088/cluster 的网页版本 可以查看到总CPU核心数 , 以及正在使用的 ,剩余的 , 和内存数 2. 如何通过shell 命令或脚本查看剩余的 cpu核心数 和内存 yarn top 这个命令句就可以 , 查看集群的资源情况 , 包括正在使 ...
分类：
其他好文 时间：
2020-08-17 16:44:40
阅读次数：
160
1.flume简介 Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2.安装和使用说明 ...
分类：
Web程序 时间：
2020-08-13 22:07:34
阅读次数：
83
一、hdfs概述 介绍： 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统 。HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数 ...
分类：
其他好文 时间：
2020-08-13 12:16:47
阅读次数：
60
