Hadoop的配置文件解释hadoop-env.sh: 用于定义hadoop运行环境相关的配置信息,比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等;core-site.xml: 用于定义系统级别的参数,它作...
分类:
其他好文 时间:
2014-07-11 13:05:01
阅读次数:
275
1.配置环境说明 spark:5台zybo板,192.168.1.1master,其它4台为slave hadoop:192.168.1.1(外接SanDisk ) 2.单节点hadoop测试: 如果出现内存不足情况如下: 查看当前虚拟内存容量: free -m cd /mnt mkdir swap...
分类:
其他好文 时间:
2014-07-11 11:38:44
阅读次数:
407
HDFS和Mapreduce是Hadoop的两大核心。整个Hadoop的体系结构主要是通过HDFS来实现分布式存储的底层支持,MapReduce来实现分布式并行任务处理的程序支持。HDFSHDFS采用了主从(Master/Slave)结构模型,一个HDFS集群是由一个NameNode和若干个Data...
分类:
其他好文 时间:
2014-07-10 15:36:19
阅读次数:
204
下面的列表清楚的解释了RedisReplication的特点和优势。1).同一个Master可以同步多个Slaves。2).Slave同样可以接受其它Slaves的连接和同步请求,这样可以有效的分载Master的同步压力。因此我们可以将Redis的Replication架构视为图结构。3).MasterServer是以非阻塞的方式为Slave..
分类:
其他好文 时间:
2014-07-08 12:03:40
阅读次数:
228
下面的列表清楚的解释了RedisReplication的特点和优势。1).同一个Master可以同步多个Slaves。2).Slave同样可以接受其它Slaves的连接和同步请求,这样可以有效的分载Master的同步压力。因此我们可以将Redis的Replication架构视为图结构。3).MasterServer是以非阻塞的方式为Slave..
分类:
其他好文 时间:
2014-07-08 09:38:00
阅读次数:
259
在使用jenkins slave节点时,出现应用程序已被安全设置阻止,如下图:解决方法很简单,进入到控制面板-->程序-->java-->安全,进去后,将安全级别设置为中,点击应用,确定就ok了,如下图:
分类:
其他好文 时间:
2014-07-07 10:15:23
阅读次数:
194
前文介绍到SRIO有多重类型的包,其中包含了Doorbell包,Doorbell是一种快速的通知类型的短消息,包头和携带信息都很短,用于master srio设备通知slave srio设备,可用于DSP间的消息通知,也可用于FPGA与DSP间的消息通知。
Doorbell包payload的大小为16bit,如下图阴影处为有效位,其他为reserve位。5,6位用于选择Doorbell中断状态寄...
分类:
其他好文 时间:
2014-07-05 23:53:45
阅读次数:
391
Slave crash-safe replication
mysql的slave启动时,error.log中出现Warning警告:
[Warning] Slave SQL: If a crash happensthis configuration does not guarantee that the relay log info will beconsistent, Error_code: 0...
分类:
移动开发 时间:
2014-07-03 18:15:13
阅读次数:
278
Last_IO_Error: The slave IO thread stopsbecause the master has @@GLOBAL.GTID_MODE OFF and this server has@@GLOBAL.GTID_MODE ON...
分类:
数据库 时间:
2014-07-03 17:31:44
阅读次数:
348
一、什么是redis主从复制?主从复制,当用户往Master端写入数据时,通过RedisSync机制将数据文件发送至Slave,Slave也会执行相同的操作确保数据一致;且实现Redis的主从复制非常简单。二、redis主从复制特点1、同一个Master可以拥有多个Slaves。2、Master下的Slave还可以接受同..
分类:
数据库 时间:
2014-07-03 14:26:26
阅读次数:
333