主要参考虫师的文章，但他的文章里面有一些问题说得不是很详细，并且有些我遇到的问题他也没有说明，所以记录一下我遇到的问题。下载python并安装，并配置环境变量。 下载的话，建议大家下载2.7的版本。地址是：https://www.python.org/download/releases/2.7...
分类：
编程语言 时间：
2014-07-11 20:31:01
阅读次数：
267
最近学习Android开发，以前使用C/C++多一些，现在再补点Java知识，不管是哪种语言，都不过是一种工具而已，真的学起来，大同小异，无谓优劣。学习Android编程肯定是要先从环境搭建开始，无论是在Windows、还是Linux、Mac环境都可以，在搭建环境之前，有些概念综合了解一下确有...
分类：
移动开发 时间：
2014-07-11 19:41:19
阅读次数：
287
hadoop2分布式安装后总是报这个bug2014-07-06 08:22:40,506 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool (....
分类：
其他好文 时间：
2014-07-11 19:02:38
阅读次数：
364
学习PHP脚本编程语言之前，必须先搭建并熟悉开发环境，开发环境有很多种，例如LAMP、WAMP、MAMP等。这里我介绍一下LAMP环境的搭建，即Linux、Apache、MySQL、PHP环境。一、首先安装操作系统操作系统：centos6.3IP地址：192.168.146.129网关：DNS：操作...
分类：
Web程序 时间：
2014-07-11 18:10:33
阅读次数：
364
Hadoop的配置文件解释hadoop-env.sh: 用于定义hadoop运行环境相关的配置信息，比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等；core-site.xml: 用于定义系统级别的参数，它作...
分类：
其他好文 时间：
2014-07-11 13:05:01
阅读次数：
275
1.配置环境说明 spark:5台zybo板，192.168.1.1master，其它4台为slave hadoop：192.168.1.1（外接SanDisk ) 2.单节点hadoop测试： 如果出现内存不足情况如下： 查看当前虚拟内存容量： free -m cd /mnt mkdir swap...
分类：
其他好文 时间：
2014-07-11 11:38:44
阅读次数：
407
我用命令：bin/hdfsnamenode-format 格式化NameNode时报下面的错：14/07/09 17:12:49 WARN namenode.NameNode: Encountered exception during format: org.apache.hadoop.hdfs.q...
分类：
其他好文 时间：
2014-07-11 11:01:55
阅读次数：
282
海量数据处理使用的大多是鼎鼎大名的hadoop或者hive，作为一个批处理系统，hadoop以其吞吐量大、自动容错等优点，在海量数据处理上得到了广泛的使用。但是，hadoop不擅长实时计算，因为它天然就是为批处理而生的，这也是业界一致的共识。否则最近这两年也不会有s4,storm,puma这些实时计...
分类：
其他好文 时间：
2014-07-11 10:00:17
阅读次数：
213
Hive学习路线图Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, C...
分类：
其他好文 时间：
2014-07-11 08:48:52
阅读次数：
291
【一】HDFS简介 HDFS的基本概念1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是，HDFS中，如果一...
分类：
其他好文 时间：
2014-07-10 16:51:14
阅读次数：
304
