lk@lk-virtual-machine:~$ cd hadoop-1.0.1
lk@lk-virtual-machine:~/hadoop-1.0.1$ cd bin
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./stop_all.sh
bash: ./stop_all.sh: 没有那个文件或目录
lk@lk-virtual-machine:~...
分类：
其他好文 时间：
2014-05-10 09:58:55
阅读次数：
462
从Physical plan到Map-Reduce Plan
注：因为我们重点关注的是Pig On Spark针对RDD的执行计划，所以Pig物理执行计划之后的后端参考意义不大，这些部分主要分析流程，忽略实现细节。
入口类MRCompiler，MRCompilier按照拓扑顺序遍历物理执行计划中的节点，将其转换为MROperator，每个MROperator都代表一个map-reduce
j...
分类：
其他好文 时间：
2014-05-10 08:46:07
阅读次数：
366
经过今天的Block的学习、上网查询相关文章归纳了一下一、一个使用Block的好处有：Block可以用在许多不同的环境中，这样可以让代码更加简单，以及减少函数声明的数量，不用实现代理协议。简单性：使用
Block 我们可以不写任何附加的代码就可以访问对象，对象在数组中的索引，stop 变量。 这意味...
分类：
其他好文 时间：
2014-05-10 01:52:16
阅读次数：
307
1 $() vs $$("someSelector") returns a array.
This is defiend in jQuery.prototype.$.methodName is a method defined in
jQuery...2methods below will stop...
分类：
Web程序 时间：
2014-05-09 11:33:38
阅读次数：
371
memcached的基本命令(安装、卸载、启动、配置相关)：-p 监听的端口 -l 连接的IP地址,
默认是本机 -d start 启动memcached服务 -d restart 重起memcached服务 -d stop|shutdown
关闭正在运行的memcached服务 -d insta....
分类：
其他好文 时间：
2014-05-08 22:16:48
阅读次数：
294
本文是Pig系统分析系列中的最后一篇了，主要讨论如何扩展Pig功能，不仅介绍Pig本身提供的UDFs扩展机制，还从架构上探讨Pig扩展可能性。
补充说明：前两天同事发现twitter推动的Pig On Spark项目：Spork，准备研究下。
UDFs
通过UDFs（用户自定义函数），可以自定义数据处理方法，扩展Pig功能。实际上，UDFS除了使用之前需要register/define外，和...
分类：
其他好文 时间：
2014-05-07 05:10:44
阅读次数：
567
WebService之CXF注解
1、具体报错如下
usage: java org.apache.catalina.startup.Catalina [ -config {pathname} ] [ -nonaming ] { -help | start | stop }
2014-5-4 22:42:12 org.apache.catalina.core.AprLifecycleL...
分类：
Web程序 时间：
2014-05-07 03:33:05
阅读次数：
630
本篇内容主要包括：1.能够转化为并行循环的条件2.并行For循环的用法：Parallel.For3.并行ForEach的用法Parallel.ForEach4.并行LINQ（PLINQ）的用法AsParallel()5.并行中断与并行停止的用法与区别6.外部控制循环取消的方法(Break,Stop)...
分类：
Web程序 时间：
2014-05-07 00:33:18
阅读次数：
441
1. 修改MySQL安装目录下（C:\Program Files\MySQL\MySQL Server 5.5）的my.ini文件
设置： default-character-set=utf8
character-set-server=utf8
然后重启MySQL服务，MySQL 没有重启的命令，要先停止，然后再启动。开始 -> cmd -> net stop mys...
分类：
数据库 时间：
2014-05-06 22:59:11
阅读次数：
397
Spark中的Scheduler
scheduler分成两个类型，一个是TaskScheduler与其实现，一个是DAGScheduler。
TaskScheduler:主要负责各stage中传入的task的执行与调度。
DAGScheduler:主要负责对JOB中的各种依赖进行解析，根据RDD的依赖生成stage并通知TaskScheduler执行。
实例生成
TaskSchedule...
分类：
其他好文 时间：
2014-05-04 09:08:02
阅读次数：
379
