在多台电脑上进行了android环境的搭建，由于系统环境的差异和搭建中的一些不注意，出现的问题不尽相同，参考了网上各种问题解决办法，这儿做一个汇总。...
分类：
移动开发 时间：
2014-05-10 10:11:55
阅读次数：
419
lk@lk-virtual-machine:~$ cd hadoop-1.0.1
lk@lk-virtual-machine:~/hadoop-1.0.1$ cd bin
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./stop_all.sh
bash: ./stop_all.sh: 没有那个文件或目录
lk@lk-virtual-machine:~...
分类：
其他好文 时间：
2014-05-10 09:58:55
阅读次数：
462
从Physical plan到Map-Reduce Plan
注：因为我们重点关注的是Pig On Spark针对RDD的执行计划，所以Pig物理执行计划之后的后端参考意义不大，这些部分主要分析流程，忽略实现细节。
入口类MRCompiler，MRCompilier按照拓扑顺序遍历物理执行计划中的节点，将其转换为MROperator，每个MROperator都代表一个map-reduce
j...
分类：
其他好文 时间：
2014-05-10 08:46:07
阅读次数：
366
一、对于服务器端的搭建可以参考上一篇文章：kafka单机版环境搭建与测试
服务器端IP ：10.0.30.221
运行环境的目录如下：
需要改动config文件夹下的server.properties中的以下两个属性
zookeeper.connect=localhost:2181改成zookeeper.connect=10.0.30.221:2181
以及默认注释掉的
#host...
import java.io.IOException;import
java.util.Iterator;import java.util.StringTokenizer;import
org.apache.hadoop.conf.Configuration;import org.apache.ha...
分类：
其他好文 时间：
2014-05-07 19:14:58
阅读次数：
416
前提条件，有已经搭建好的域环境。大致步骤如下：1.准备windows 08r2 64bit
os,vm,sqlserver2008 64bit,sharepoint
designer2010(可选)2.安装os，设置将os加入到域，关闭防火墙，开启远程，设置ip、dns3.安装sqlserver(可...
分类：
其他好文 时间：
2014-05-07 09:43:54
阅读次数：
471
http://wiki.apache.org/hadoop/FAQ...
分类：
其他好文 时间：
2014-05-07 07:51:10
阅读次数：
229
本文是Pig系统分析系列中的最后一篇了，主要讨论如何扩展Pig功能，不仅介绍Pig本身提供的UDFs扩展机制，还从架构上探讨Pig扩展可能性。
补充说明：前两天同事发现twitter推动的Pig On Spark项目：Spork，准备研究下。
UDFs
通过UDFs（用户自定义函数），可以自定义数据处理方法，扩展Pig功能。实际上，UDFS除了使用之前需要register/define外，和...
分类：
其他好文 时间：
2014-05-07 05:10:44
阅读次数：
567
MapReduce2.0（Yarn）
MapReduce2.0是在Hadoop0.23开始采用的，叫做MapReduce2.0或者MRv2或者Yarn。
MRv2的主要思想是把jobtracker的任务分为两个基本的功能，一个是资源管理，一个是任务监控，这两个任务分别用不同的进程来运行。这个想法使拥有一个全局的资源管理器（ResourceManager）和每个应用程序的应用...
分类：
其他好文 时间：
2014-05-07 04:05:06
阅读次数：
272
karma启动时出现了很多问题:1.安装karma前提条件安装karma首先要安装nodejs,npm然后才可以安装karma.nodejs,npm的安装过程可以参考文章:Angularjs学习---angularjs环境搭建,ubuntu
12.04下安装nodejs、npm和karma2.安装k...
分类：
Web程序 时间：
2014-05-06 11:22:58
阅读次数：
374
