1.纠删码将数据存储空间节省50% hadoop-3.0之前，HDFS存储方式为每一份数据存储3份，这也使得存储利用率仅为1/3， hadoop-3.0引入纠删码技术(EC技术)，实现1份数据+0.5份冗余校验数据存储方式 2.Shell脚本重写 （1）增加了参数冲突检测，避免重复定义和冗余参数 （ ...
分类：
其他好文 时间：
2017-05-08 12:37:53
阅读次数：
209
一、环境准备 1.mysql-db01 2.mysql-db02 3.mysql-db03 二、安装mysql 1.安装包准备 2.安装 3.启动并添加开机自启 4.设置root密码 三、主从复制 1.先决条件 主库和从库都要开启binlog （因为从库有可能被提升为主库，所以必须开启binlog） ...
分类：
数据库 时间：
2017-05-05 12:44:59
阅读次数：
253
Hadoop2.7.3 多台主机完全分布式搭建（Mac OS X 10.12.4系统） 前言 由于学校课程实验的要求，特意需要搭建hadoop的完全分布式系统，所以自己就蛋疼的配了，可惜关于MAC系统的Hadoop搭建材料太少，而且真正的基于校园网的配置基本上没有(基本是在一台电脑上进行，因此当在多 ...
分类：
系统相关 时间：
2017-04-29 22:19:03
阅读次数：
343
MongoDB做集群，版本3.2官网推荐的集群方式Replica Set 准备服务器3台 两个standard节点（这两个节点直接可以互切primary secondary)。 一个arbiter节点，它手中握着一张选票，决定上面两个standard节点中的哪一个可以成为primay。 机器名称和预 ...
分类：
数据库 时间：
2017-04-28 22:18:19
阅读次数：
316
在core-site.xml文件中添加如下内容： ##开启回收站功能，设置保存7天删除数据信息 <property> <name>fs.trash.interval</name> <value>70000</value> </property> 重启hdfs守护进程生效： sbin/hadoop-d ...
分类：
其他好文 时间：
2017-04-19 10:13:42
阅读次数：
205
hadoop配置文件 默认配置文件：四个模块相对应的jar包中：$HADOOP_HOME/share/hadoop *core-default.xml *hdfs-default.xml *yarn-default.xml *mapred-default.xml 用户自定义配置文件：$HADOOP_ ...
分类：
其他好文 时间：
2017-04-19 10:13:25
阅读次数：
215
上一课讲了怎样在一台机器上建立Hadoop环境。我们仅仅配置了一个NHName Node, 这个Name Node里面包括了我们全部Hadoop的东西。包括Name Node, Secondary Name Node, Job Tracker, Task Tracker，这一课解说怎样把上述配置放到 ...
分类：
其他好文 时间：
2017-04-18 13:49:43
阅读次数：
257
界面添加一个按钮： <button ion-button block color="secondary" class="Scan-button" (click)="scanQR()" [disabled]="loading">点我扫描</button> <button ion-button bloc ...
分类：
其他好文 时间：
2017-04-13 15:33:34
阅读次数：
313
hadoop configure secondary namenode ...
分类：
其他好文 时间：
2017-04-13 15:08:05
阅读次数：
135
