HDFS设计之处并不支持给文件追加内容，这样的设计是有其背景的（如果想了解更多关于HDFS的append的曲折实现，可以参考《File Appends in HDFS》：http://blog.cloudera.com/blog/2009/07/file-appends-in-hdfs/），但从HD...
分类：
移动开发 时间：
2014-07-22 08:13:34
阅读次数：
257
1.1 Spark交互式分析
运行Spark脚本前，启动Hadoop的HDFS和YARN。Spark的shell提供
了简单方式去识别API，同样也有一个强大的工具去交互式地分析数据。两种语言有这样的交换能力，分别是Scala 和 Python。下面将演示如何使用Python来分析数据文件。
进入Spark安装主目录，输入下面的命令，python命令行模式将会启动。
./bin/pysp...
分类：
其他好文 时间：
2014-07-22 00:29:38
阅读次数：
239
重新格式化hdfs系统的方法：（1）查看hdfs-ste.xmldfs.name.dir/home/hadoop/hdfs/namenamenode上存储hdfs名字空间元数据dfs.data.dir/home/hadoop/hdsf/datadatanode上数据块的物理存储位置将dfs.name...
分类：
其他好文 时间：
2014-07-22 00:10:37
阅读次数：
263
调试加安装了半天，怎么也没有配置好怎么通过Eclipse直接连接hdfs，最后我还是打成一个jar包放到Linux虚拟机中执行的。
执行命令Java -jar XXX.jar.
其中对hdfs的操作比较简单，主要就FileSystem这一个类，这个东西搞懂了，你对通过程序进行对hdfs的操作自然而然的也就非常熟练了。
下面我简单的举一个简单的从hdfs上读取文件内容的例子。大家分享一下。p...
分类：
其他好文 时间：
2014-07-21 22:32:08
阅读次数：
217
core-site.xml<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://qlserver03:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/grid/hadoop/tmp</..
分类：
其他好文 时间：
2014-07-21 19:34:42
阅读次数：
247
namenode（hdfs）+jobtracker（mapreduce）可以放在一台机器上，datanode+tasktracker可以在一台机器上，辅助namenode要单独放一台机器，jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上，一...
分类：
其他好文 时间：
2014-07-21 10:21:00
阅读次数：
327
网站数据统计分析工具是网站站长和运营人员经常使用的一种工具，比较常用的有谷歌分析、百度统计?和?腾讯分析等等。所有这些统计分析工具的第一步都是网站访问数据的收集。目前主流的数据收集方式基本都是基于j...
分类：
Web程序 时间：
2014-07-21 10:06:59
阅读次数：
521
日志分析界面：logstash（分析端）+elashsearch（存储端）+kibana（展示端）工具：进行数据整理statsd1、diamond-->statsd-->graphite2、实时收集数据的做法：logstash-->statsd-->graphite日志收集可视化(LEK)：logstash+elasticsearch+kibanalegend:logstash--》..
分类：
其他好文 时间：
2014-07-20 23:38:43
阅读次数：
696
Hadoop2.2.0版本HDFS的HA配置注：以下配置描述的是HDFS的QJM方式的HA配置。1.1zookeeper集群配置这里我使用了4台机器部署zookeeper集群，机器IP分别是：10.0.0.131Namenode1-v210.0.0.132Namenode2-v210.0.0.133Datanode1-v210.0.0.134Datanode2-v2首先建立zookeeper的数据目录..
分类：
其他好文 时间：
2014-07-20 15:22:31
阅读次数：
363
1）Hadoop学习总结 （1）HDFS简介 （2）HDFS读写过程解析 （3）Map-Reduce入门 （4）Map-Reduce的过程解析 （5）Hadoop的运行痕迹 （6）Apache Hadoop 版本2）Hadoop-0.20.0源代码分析 （1）Hadoop-0.20.0...
分类：
其他好文 时间：
2014-07-19 23:14:35
阅读次数：
208
