软件版本：Sqoop：1.99.4；JDK：1.7；Hadoop2.2；环境：1. Hadoop集群：node12:NameNode、ResourceManager、JobHistoryServer、DataNode、NodeManager； 1.5G内存+10G硬盘+1核node13:SecondaryNameNode、DataNode、NodeManager；1.5G内存+10G硬盘+1核2....
分类：
编程语言 时间：
2016-03-08 15:00:38
阅读次数：
613
更多MyCat源码分析，请戳MyCat源码分析系列 SQL下发 SQL下发指的是MyCat将解析并改造完成的SQL语句依次发送至相应的MySQL节点（datanode）的过程，该执行过程由NonBlockingSession.execute()触发： public void execute(Rout
分类：
数据库 时间：
2016-03-07 10:30:43
阅读次数：
323
Hadoop2.6DataNode服务未启动1、Hadoop2.6安装完成之后，在DataNode上jps发现没有NataNode服务，很奇怪查看日志，之后发现原因是hadoop安装好之后，格式化多次，VERSION版本不同，造成的clusterid主从节点不一样[hadoop@masterhadoop-2.6.0]$cat/usr/local/hadoop-2.6.0/logs/h..
分类：
其他好文 时间：
2016-02-28 17:01:08
阅读次数：
249
NameNode维护了HDFS命名空间的两层关系： 1） 文件与数据块之间的关系（INodeFile，INodeDirectory） 2） 数据块与DataNode之间的关系（BlockMap.BlockInfo） 首先，贴一张类图： 1. INode类： INode模仿Linux文件系统中的索引节
分类：
其他好文 时间：
2016-02-22 23:41:53
阅读次数：
473
数据库路由中间件MyCat-使用篇（5）配置MyCat4.配置schema.xmlschema.xml里面管理着MyCat的逻辑库、表，每张表使用的分片规则、分布在哪个DataNode以及DataSource上。之前的例子：<?xmlversion="1.0"encoding="UTF-8"?><!DOCTYPEmycat:schemaSYSTEM"schema.dtd">&l..
分类：
其他好文 时间：
2016-02-21 06:44:05
阅读次数：
1752
数据库路由中间件MyCat-使用篇（2）基本概念3.分片3.1分片节点（dataNode）表被水平切分后，每个分片表所在的数据库就是一个分片节点。一个分片节点对应一个数据库（mysql数据库）。一个分片节点只能保存每个分片表的一个分片，因为db中不允许出现同名的表。3.2节点主机（dataH..
分类：
其他好文 时间：
2016-02-21 06:42:18
阅读次数：
168
zookeeper：hadoop112、hadoop113、hadoop114 namenode：hadoop110和hadoop111 datanode：hadoop112、hadoop113、hadoop114 journalnode：hadoop110、hadoop111、hadoop112
分类：
其他好文 时间：
2016-02-20 13:07:50
阅读次数：
155
1、手工切换ha的环境的搭建（比hadoop1多出来journalnode的配置） namenode：hadoop110和hadoop111 datanode：hadoop112、hadoop113、hadoop114 journalnode：hadoop110、hadoop111、hadoop11
分类：
其他好文 时间：
2016-02-19 21:55:39
阅读次数：
223
前言之前一段时间写了篇文章DataNode数据处理中心DataXceiver从大的方向了解了下datanode读写操作的过程.但是并没有具体细粒度的去关注读写操作中的细节以及可能存在的问题,本篇文章算是对这方面的一个补充吧.尽管本文所涉及的范围面看起来很窄,但是所呈现出来的结果一定会让你有所收获的.DFSOutputStream写数据以及周边相关类,变量本文主要阐述的datanode写数据的过程,...
分类：
编程语言 时间：
2016-02-19 10:48:33
阅读次数：
266
前言在HDFS中,数据的存储是以Block块的形式进行组织的.而每个块的默认副本数是3个,所以一般每个在HDFS中会存在3个相同的block块分布在不同的DataNode节点之上.所以在每个DataNode上,会存储着大量的block,那么这些块是如何被组织,联系起来的的呢,HDFS在添加块,移除块时是如何操作这些block块以及对应的关联信息呢,链表?数组?HashMap?答案就在BlockIn...
分类：
其他好文 时间：
2016-02-12 16:24:52
阅读次数：
270
