一、什么时候可以避免执行MapReduce?select
*where语句中只有分区字段
二、Jion优化驱动表最右边查询表表的大小从左边到右边依次增大标志机制显示的告知查询优化器哪张表示大表/*+streamtable(table_name)*/
三、Map-side聚合sethive.map.aggr=true;这个设置可以将顶层的聚合操作放在Map阶段执行,从而减轻清洗...
分类:
其他好文 时间:
2015-06-12 17:24:34
阅读次数:
174
函数在Scala语言里面也是一个对象,也许这对于Java程序员来说这比较令人惊讶。于是吧函数作为参数进行传递、把它们存贮在变量中、或者当作另一个函数的返回值都是可能的。吧函数当成值进行操作是函数型编程语言的基石。
为了解释为什么吧函数当作值进行操作是十分有用的,我们来考虑一个计时器函数。这个函数的目的是每隔一段时间就执行某些操作。那么如何吧我们要做的 操作传入计时器呢?于是我们想吧他当作一个函数...
分类:
其他好文 时间:
2015-06-12 17:23:17
阅读次数:
189
docker中的容器互联-linking系统
docker有一个linking 系统可以连接多个容器。它会创建一对父子关系,父容器可以看到所选择的
子容器的信息。
1)容器的命名系统
linking系统依据容器的名称来执行。当我们创建容器的时候,系统会随机分配一个名字。当然我们
也可以自己来命名容器,这样做有2个好处:
? 当我们自己指定名称的时候,比较好记,比如一个web应用我们可以...
分类:
其他好文 时间:
2015-06-12 17:25:33
阅读次数:
307
摘录一
在192.168.42.142机器上
1)运行:ssh-keygen -t rsa
2)然后拍两下回车(均选择默认)
3)运行:
ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.42.163
或普通用户:
ssh-copy-id NAME@IP
4)再输入163机器上的root密码
...
分类:
其他好文 时间:
2015-06-12 17:24:29
阅读次数:
212
Spout的实现步骤:
· 对文件的改变进行分开的监听,并监视目录下有无新日志文件添加。
· 在数据得到了字段的说明后,将其转换成tuple。
· 声明Spout和Bolt之间的分组,并决定tuple发送给Bolt的途径。
Spout的具体编码在Listing Three中显示。
Listing Three:Spout中open、nextTupl...
分类:
其他好文 时间:
2015-06-12 17:22:50
阅读次数:
181
命令示例:
1. 事务被正常执行:
#在Shell命令行下执行Redis的客户端工具。
/> redis-cli
#在当前连接上启动一个新的事务。
redis 127.0.0.1:6379>multi
OK
#执行事务中的第一条命令,从该命令的返回结果可以看出,该命令并没有立即执行,而是存于事务的命令队列。
redis 127.0.0.1:6379>incr t1
QUEUED
...
分类:
其他好文 时间:
2015-06-12 17:23:47
阅读次数:
138
以下是给一名大一学生的回信,贴在这里希望能对后来的新人有所帮助。XXXX,你好: 请原谅拖了很久才给你回邮件。首先是因为前段工作很忙,晚上也要加班到很晚。再者感觉诚惶诚恐,害怕我的某些个人偏见会误导你。
从你的邮件中我可以感觉到你是一个有目标且有很强执行力的人。很多人进入大学之后就像无头的苍蝇,没有目标。相比较你的目标很清晰。坚持下去并不懈努力,相信你会实现自己的目标。夯实基础...
分类:
其他好文 时间:
2015-06-12 17:19:30
阅读次数:
165
QQ:1187362408 欢迎技术交流和学习
关于functioncharts饼状图(仅限饼状图):
TODO:
1,饼状图没有数据情况下,显示:no data to display
2,解决办法:自定义处理,显示图像或其它内容...
分类:
其他好文 时间:
2015-06-12 17:20:10
阅读次数:
69
function [x,minf] = minLM(f,x0,beta,u,v,var,eps)
format long;
if nargin == 6
eps = 1.0e-6;
end
S = transpose(f)*f;
k = length(f);
n = length(x0);
x0 = transpose(x0);
A = jacobian(f,var);
tol = 1;
...
分类:
其他好文 时间:
2015-06-12 17:21:27
阅读次数:
101
HBaseConvetorUtil 实体转换工具类
public class HBaseConvetorUtil {
/**
* @Title: convetor
* @Description: 传入hbase返回结果值,返回实例集合
* @param
* @return
* @throws
*/
public stati...
分类:
其他好文 时间:
2015-06-12 17:19:20
阅读次数:
246
//mapreduce程序
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop....
分类:
其他好文 时间:
2015-06-12 17:18:19
阅读次数:
134
Hadoop之Hbase从入门到精通http://yunpan.cn/cwhbfIv2pptiR (提取码:b786)超人学院Hadoop大数据技术资源分享
更多精彩内容请关注超人学院微信
更多精彩内容请关注:http://bbs.superwu.cn...
分类:
其他好文 时间:
2015-06-12 17:18:45
阅读次数:
117
QQ:1187362408 欢迎技术交流和学习
关于三层架构(ADO.NET):
TODO:
1,页面表现层:统一调用BLL中的方法名称
2,业务逻辑层:依据业务需求,编写业务逻辑方法
3,数据访问层:对业务的每一项需求明细,编写数据处理方法
讲解篇:
1,页面表现层:只展现页面
2,业务逻辑层:只处理业务
3,数据访问层:只处理具体每一项业务数据...
分类:
其他好文 时间:
2015-06-12 17:17:51
阅读次数:
128
Given a binary tree and a sum, find all root-to-leaf paths where each path’s sum equals the given sum.For example:
Given the below binary tree and sum = 22, 5
/ \...
分类:
其他好文 时间:
2015-06-12 17:17:40
阅读次数:
84
下载官网下载地址:http://www.quartz-scheduler.org/
下载步骤:
1、点击橘黄色的download连接。
2、点击Direct Download下面的Quartz 2.2.1 full distribution (release notes)
3、点击quartz-2.2.1-distribution.tar.gz进行下载,选择两个中的任何一个即可。...
分类:
其他好文 时间:
2015-06-12 17:16:19
阅读次数:
159
XStream是一个Java对象和XML相互转换的工具,很好很强大。提供了所有的基础类型、数组、集合等类型直接转换的支持。因此XML常用于数据交换、对象序列化(这种序列化和Java对象的序列化技术有着本质的区别)。
XStream对象相当Java对象和XML之间的转换器,转换过程是双向的。创建XSteam对象的方式很简单,只需要new XStream()即可。
...
分类:
其他好文 时间:
2015-06-12 17:15:19
阅读次数:
221
CTStaticTableView这是一个用代码封装静态TableView的方式。你可以用xib初始化CTStaticTableView,也可以用代码...
分类:
其他好文 时间:
2015-06-12 17:15:01
阅读次数:
117