大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。下面整理了一些大数据分析能用到的工具，助力大家更好的应用大数据技术。 一、hadoop Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高 ...
分类：
其他好文 时间：
2020-03-14 18:32:36
阅读次数：
75
MapReduce程序瓶颈 计算机性能 CPU、内存、磁盘、网络 I/O操作优化 数据倾斜 Map和Reduce数设置不合理 Map运行时间太长，导致Reduce等待过久 小文件过多 大量的不可分块的超大文件 spill次数过多 merge次数过多 MapReduce优化方法 主要从六个方面考虑：数 ...
分类：
其他好文 时间：
2020-03-14 11:21:18
阅读次数：
53
停止hadoop集群 ssh admin@node60 '/opt/module/hadoop-2.7.6/sbin/stop-all.sh';ssh admin@node89 '/opt/module/hadoop-2.7.6/sbin/stop-all.sh';ssh admin@node145 ...
分类：
其他好文 时间：
2020-03-13 18:35:36
阅读次数：
69
在执行hadoop命令的时候出现如下错误，不能加载Hadoop库 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes wher ...
分类：
其他好文 时间：
2020-03-13 01:26:15
阅读次数：
77
HA+Zookeeper搭建: hadoop完全分布式搭建: https://www.cnblogs.com/Hephaestus/p/12213719.html hadoop高可用搭建: https://www.cnblogs.com/Hephaestus/p/12420370.html Zook ...
分类：
其他好文 时间：
2020-03-12 09:59:28
阅读次数：
46
Hadoop Java API 热身 WordCount 新建Maven项目 根据zookeeper和hadoop版本配置pom.xml，可用使用 echo stat|nc localhost 2181 查看zookeeper版本 <?xml version="1.0" encoding="UTF- ...
分类：
其他好文 时间：
2020-03-11 01:02:12
阅读次数：
68
工作需要，大数据相关组件又得重新搭建，整理了一下。序号主机名IP程序CPU内存磁盘操作系统1ambari.dev.smcaiot.com172.16.4.74Ambari4C24GB200GBCentOSLinuxrelease7.4.1708(Core)2master.dev.smcaiot.com172.16.4.74Master4C24GB200GBCentOSLinuxrelease7.4
分类：
其他好文 时间：
2020-03-10 23:28:13
阅读次数：
115
demo 1 package com.bjsxt.hbase; 2 3 import java.io.IOException; 4 5 import org.apache.hadoop.conf.Configuration; 6 import org.apache.hadoop.hbase.Cell ...
分类：
编程语言 时间：
2020-03-10 19:46:43
阅读次数：
55
HDFS的定义？ Hadoop分布式文件管理系统。旨在对不同系统上的文件进行统一的管理。它是一个文件系统，用于存储文件，通过目录树来定位文件，其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 使用场景？ 适合一次写入，多次读出的场景，且不支持文件的修改，适合用来做数据 ...
分类：
其他好文 时间：
2020-03-10 11:56:30
阅读次数：
66
背景：1、ApacheSentry是Cloudera公司发布的一个Hadoop开源组件，它提供了细粒度级、基于角色的授权以及多租户的管理模式，2、Sentry当前可以和Hive/Hcatalog、ApacheSolr和ClouderaImpala集成，为这些组件提供权限管理服务。3、基于角色的管理（role-basedacesscontrol）通过创建角色，将每个组件的权限授予给此角色，然后在用户
分类：
其他好文 时间：
2020-03-09 19:38:28
阅读次数：
72
