Hadoop集群(第9期)_MapReduce初级案例 - 虾皮 - 博客园1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1....
分类:
其他好文 时间:
2014-05-08 20:38:16
阅读次数:
669
今天听一个同事说新浪使用的是Redis,于是自己将研究的过程整理出来以备后用。我们都知道微博这玩意儿现在很火,新浪作为国内最早使用redis,并且是国内最大的redis使用者,当然备受人们关注。新浪微博中一项很重要数据,计数类业务就用到了Redis。OK,废话不多说,直接切入主题。R...
分类:
其他好文 时间:
2014-05-08 19:50:42
阅读次数:
354
之前重启服务器上的服务,均是先使用ps -ef | grep
xxx指令查询出PID,然后再使用kill -9
PID指令杀死进程。由于重启的服务只止一个,每次都要重复输入,甚是麻烦。示例今天研究了一下,把以上手动查杀、重启服务的过程写成了shell脚本,重启服务只需执行脚本就可以了。附脚本样例:
...
分类:
其他好文 时间:
2014-05-07 20:18:02
阅读次数:
461
对于标准输入或者给定的文件,显示其16进制的内容。也可以反过来进行转换。 xxd -h[elp]
xxd [options] [infile [outfile]] xxd -r[evert] [options] [infile [outfile]]
如果没有...
分类:
系统相关 时间:
2014-05-07 19:59:25
阅读次数:
490
练习题(这里贴的是自己写的代码,
网上给的题目代码我会附加在最下面)1.编写shell脚本,计算1-100的和; 1 #!/bin/bash 2 #caculate the sum of
numbers from 1 to 100 3 4 sum=0 5 for i in `seq 1 100`;....
分类:
其他好文 时间:
2014-05-07 19:34:54
阅读次数:
305
using Microsoft.Phone.Shell;ShellToast toast =
new ShellToast();toast.Title = "程序标题"; toast.Content = "内容"; toast.NavigationUri
= new Uri("...
分类:
其他好文 时间:
2014-05-07 19:29:04
阅读次数:
271
1. 关于自定义函数比如定义了一个函数名为hello的函数:1 function hello{2 3
echo "Hello World!"4 5 return 16 7 }1 #调用函数2 hello3 4 #保存函数返回值5
a=$?若将函数写在单独的文件中,可以用下面的方式来调用,假设...
分类:
其他好文 时间:
2014-05-07 18:34:04
阅读次数:
328
判断一个变量是否为空 .1. 变量通过" "引号引起来如下所示:,可以得到结果为 IS
NULL. #!/bin/sh para1= if [ ! -n "$para1" ]; then echo "IS NULL" else echo "NOT
NULL" fi2. 直接通过变量判断如下所示:得到...
分类:
其他好文 时间:
2014-05-07 18:21:00
阅读次数:
429
1.结构
linux中,我们把操作系统分为内核空间和用户空间。用户通过用户空间与操作系统打交道。用户要通过系统调用访问内核空间。下图为Linux体系结构,shell应该为在最顶层。系统调用,下面链接是Linux系统调用的一个列表,包含了大部分常用系统调用和由系统调用派生出的的函数https://w....
分类:
系统相关 时间:
2014-05-07 17:59:11
阅读次数:
332
一、find命令详细find命令 --
之查找指定时间内修改过的文件比如我们要查找linux下指定时间内做过改动的文件,我们可以用find命令,其实find命令的功能十分强大,下面我们通过几个简单的例子来学习下find命令的简单用法:find
/opt -iname "*" -atime 1 -ty...
分类:
其他好文 时间:
2014-05-07 10:11:08
阅读次数:
330