lk@lk-virtual-machine:~$ cd hadoop-1.0.1
lk@lk-virtual-machine:~/hadoop-1.0.1$ cd bin
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./stop_all.sh
bash: ./stop_all.sh: 没有那个文件或目录
lk@lk-virtual-machine:~...
分类：
其他好文 时间：
2014-05-10 09:58:55
阅读次数：
462
从Physical plan到Map-Reduce Plan
注：因为我们重点关注的是Pig On Spark针对RDD的执行计划，所以Pig物理执行计划之后的后端参考意义不大，这些部分主要分析流程，忽略实现细节。
入口类MRCompiler，MRCompilier按照拓扑顺序遍历物理执行计划中的节点，将其转换为MROperator，每个MROperator都代表一个map-reduce
j...
分类：
其他好文 时间：
2014-05-10 08:46:07
阅读次数：
366
dataguru访问地址：http://f.dataguru.cn/?fromuid=99611课程优惠码：C4B6这段时间一直在dataguru（炼数成金）上学习《hadoop数据分析平台（第十四期）》，说说我对炼数成金的印象。最开始听说dataguru是通过它的广告邮件中的链接，发送的对象是it...
分类：
其他好文 时间：
2014-05-08 21:19:30
阅读次数：
727
Hadoop集群（第9期）_MapReduce初级案例 - 虾皮 - 博客园1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1....
分类：
其他好文 时间：
2014-05-08 20:38:16
阅读次数：
669
如果不考虑其他任何问题，只比较速度的话，那肯定是mem快，但他们各有优缺点。文件缓存优点：1、由于现在的硬盘都非常大，所有如果是大数据的时候，放硬盘里就比较合适，比如做一个cms网站，网站里有10万篇文章，生成的文件大小总数可能就会很大。2、数据的存放较为安全，由于是硬盘存放，所以在意外掉电的情况下...
分类：
Web程序 时间：
2014-05-08 20:03:19
阅读次数：
307
广州疯狂软件教育Java培训，iOS培训分享Servlet三种实现方式：实现Servlet接口，继承GenericServlet
，继承HttpServlet。1、实现Servlet接口：import javax.servlet.*;import java.io.*;public
class Hel...
分类：
其他好文 时间：
2014-05-07 20:04:10
阅读次数：
300
广州疯狂软件教育Java培训，iOS培训分享Class类是Reflection
API中核心的类，他位于java.lang.Class列出一些常用的方法。- getName() : 获得类的完整名字- getFields() :
获得类的public类型的属性- getDeclaredFields(...
分类：
编程语言 时间：
2014-05-07 19:48:23
阅读次数：
376
广州疯狂软件教育Java培训，iOS培训分享
在开发Java应用程序时，通常情况下利用JFrame创建窗口。利用JFrame创建的窗口分别包含一个标题、最小化按钮、最大化按钮和关闭按钮
1、在你使用JFrame创建窗体时的情况： 在你直接调用setBackground(Color.red)...
分类：
编程语言 时间：
2014-05-07 19:43:14
阅读次数：
497
import java.io.IOException;import
java.util.Iterator;import java.util.StringTokenizer;import
org.apache.hadoop.conf.Configuration;import org.apache.ha...
分类：
其他好文 时间：
2014-05-07 19:14:58
阅读次数：
416
使用.net dataexcel通信搭建一个简单的文件服务器。
通信简单介绍
1，通信使用TCP协议。
2，采用session机制，控制简单通信安全与连接限制防攻击。
3，采用开放协议包格。(32字节数据包)
4，采用网络断开，自动连接机制保证连接。
5，采用压缩机械压缩大数据（比如.net 里面datatable,dataset的传输）。
6，采用事件机制，更容易，更符合.net开发习惯。
7，采用异步传输，较大的连接与并发。
8，采用数据包头，解决粘包。
9，采用命令方式，更容易扩展。
10，采用允许...
分类：
Web程序 时间：
2014-05-07 08:11:20
阅读次数：
494
