当今，世界无时无刻不在发生着变化。对于技术领域而言，普遍存在的一个巨大变化就是为大数据(Big data)打开了大门，并应用大数据技相关技术来改善各行业的业务并促进经济的发展。目前，大数据的作用已经上升到一定程度，对于小型或大型公司而言，从所收集的数据中提取出有用的信息已被是非常宝贵的。此外，大数据 ...
分类：
其他好文 时间：
2018-09-25 19:43:08
阅读次数：
179
配置HDFS联盟，多个NameNode节点同时存活，根据代理配置的路由规则处理客户端不同的请求，实现负载均衡，同时也可以缓存更多的元信息，它与HA的区别在于，联盟是多个NameNode都是active，可以存储更多的元信息。
分类：
其他好文 时间：
2018-09-20 18:02:22
阅读次数：
163
Zookeeper安装 cd /opt/ tar -zxvf zookeeper-3.4.10.tar.gzmv zookeeper-3.4.10 /opt/zookeeper修改配置文件cd /opt zookeeper-3.4.10/conf/cp zoo_sample.cfg zoo.cfgv ...
分类：
其他好文 时间：
2018-08-27 15:28:56
阅读次数：
171
数据库的存储方式人工管理阶段文件系统阶段数据库系统管理阶段大数据bigdata（1P分布式存储）数据库技术构成数据库系统：DBSA.数据库管理系统（DataBaseManagementSystem，DBMS）关系型数据库-SQL(RDS):ORACLE,OracleMySQl,MariaDN,Perconaserver,DB2非关系型数据库-Nosql：Redis，MongoDB，Memcache
分类：
数据库 时间：
2018-08-26 01:10:48
阅读次数：
177
1.下载文件到本地 public class HdfsUrlTest { static{ //注册url 让java程序识别hdfs的url URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); } public stati ...
分类：
编程语言 时间：
2018-08-16 19:46:59
阅读次数：
171
用途tail命令主要用于取出后边几行全称tail命令的全称即为tail(尾巴)参数-n :后边接数字，代表显示几行的意思-f :循环读取-q :不显示处理信息-v :显示详细的处理信息案例案例一：显示文件最后5行内容[root@bigdata ~]# tail -5 /etc/man_db.conf... ...
分类：
系统相关 时间：
2018-08-15 16:53:18
阅读次数：
188
什么是大数据大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的定义是4Vs：Volume、Velocity、Variety、Veracity。用中文简单描述就是大、快、多、真。Volume——数据量大随着技术的发展，人们收集信息的能力越来越强，随之获
分类：
其他好文 时间：
2018-08-14 14:26:26
阅读次数：
163
package cn.itcast.bigdata.shsq;import java.io.IOException;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.
分类：
其他好文 时间：
2018-08-11 15:34:48
阅读次数：
157
1、下载 Spark安装之前的准备 文件的解压与改名 为了我后面方便配置spark，在这里我把文件夹的名字给改了 配置环境变量 在最尾巴加入 首先我们把缓存的文件spark-env.sh.template改为spark识别的文件spark-env.sh cp conf/spark-env.sh.te ...
分类：
其他好文 时间：
2018-08-08 16:43:10
阅读次数：
169
用途 mkdir命令主要是用来建立目录的 全称 mkdir的全称为：Make Directory 参数 -m :配置文件的权限 -p :帮助你直接将所需要的目录递归建立起来 案例 进入到目录/usr/local/sbin下（酒红色字体为命令 ，蓝色字体为解释字体） [root@bigdata sbi... ...
分类：
系统相关 时间：
2018-08-07 21:58:24
阅读次数：
237
