hadoop环境的部署配置很费时间，有时候开发人员也不怎么关注。如何快速部署一个hadoop环境呢，我用shell脚本编写了一个小程序，可以完成这个功能。
分类：
其他好文 时间：
2014-05-26 20:42:07
阅读次数：
436
分布式框架：
Zookeeper与paxos算法一、zookeeper是什么官方说辞：Zookeeper 分布式服务框架是Apache Hadoop
的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。好抽象，我们...
分类：
其他好文 时间：
2014-05-26 16:37:39
阅读次数：
300
一、 总括 你了解Jetty 吗，就像我们所熟知的Tomcat一样,
Jetty是一个免费的开放源码的100%纯Java的Http服务器和Servlet容器。 Jetty具备以下特点： 快速高效
。Jetty是最快的Servlet服务器之一 。Jetty可以处理上千个并发连接 小巧嵌入 。Jetty...
分类：
其他好文 时间：
2014-05-26 12:17:14
阅读次数：
396
一、使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase
二、使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL
2.3 HBase中的数据导出到mysql
目前没有直接的命令将HBase中的数据导出到MySQL，但可以先将HBase中的数据导出到HDFS中，再将数据导出到MySQL。
三、使用Sqoop将Orac...
分类：
数据库 时间：
2014-05-26 05:48:46
阅读次数：
304
RPC（remote procedure call）不同java进程间的对象方法调用，一方称作服务端，一方称作客户端；被调用的对象的方法执行发生在server端
首先应该编写服务端MyServer，客户端MyClient，操作对象类MyBiz（根据服务端方法参数推测的），操作对象接口MyBizable（根据客户端方法参数推测的）
通过查看源码，一步步向里查看，直到没有return该方法出现...
分类：
编程语言 时间：
2014-05-26 05:34:16
阅读次数：
471
对于开源的东东，尤其是刚出来不久，我觉得最好的学习方式就是可以看源码和doc，测试它的例子
为了方便查看源码，关联导入源码的项目
block数据块，在配置文件hdfs-default.xml中可以查看到,记住要修改不是在这里
block文件存储块是最基本的单位
查看block存放位置，配置文件中查看
如果文件大于64M会占两个块，meta文件是校验...
分类：
其他好文 时间：
2014-05-26 05:30:58
阅读次数：
227
写在前面一：
本文总结“Hadoop生态系统”中的其中一员——Apache Flume
写在前面二：
所用软件说明：
一、什么是Apache Flume
官网：Flume is a distributed, reliable, and available
service for efficiently
collecting, aggregating, and m...
分类：
其他好文 时间：
2014-05-26 04:32:10
阅读次数：
359
Hadoop的分布式文件系统（HDFS）是Hadoop的很重要的一部分，本文先简单介绍HDFS的几个特点，然后再分析背后的原理，即怎样实现这种特点的。
HDFS特点
1、高容错性。这是HDFS最核心的特性了，把大量数据部署在便宜的硬件上，即使其中某些磁盘出现故障，HDFS也能很快恢复丢失的数据。
2、简单一致性。这个的意思是HDFS适合一次写入，多次读取的程序，文件写入后，就不需要修改了。像...
分类：
其他好文 时间：
2014-05-25 01:02:09
阅读次数：
285
(转载请注明出处：http://blog.csdn.net/buptgshengod)1.参会有感 首先还是非常感谢CSDN能给我票，让我有机会参加这次中国云计算峰会。感觉不写点什么对不起CSDN送我的门票（看到网上卖一千多一张呢）。 还是得从国家会议中心说起，两年前lz曾经在那当过IDF的志愿者，当时是纯体力劳动，负责给参会人员发一些杂志什么的，当时苦逼的为了多蹭一个盒饭...
分类：
其他好文 时间：
2014-05-25 00:59:08
阅读次数：
458
hadoop安装计大体上按这个做就好了http://blog.csdn.net/hitwengqi/article/details/8008203需要修改hadoop-env.shexport
JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64export PAT...
分类：
其他好文 时间：
2014-05-24 11:17:22
阅读次数：
210
