码迷,mamicode.com
首页 >  
搜索关键字:hadoop mapreduce 脚本    ( 66003个结果
hive基本操作
Hive是一个基于hadoop的数据仓库工具。Hive的查询语言是hive ql。一种类似sql的语言。 Hive支持的数据类型有 1整形: Tinyint  1字节整型 Smallint  2字节整型 Bigint   8字节整型   2.布尔型 Boolean   3浮点型  Float Double   4字符串类型 String   5.符合类型 ...
分类:其他好文   时间:2014-07-22 23:03:34    阅读次数:393
Hadoop AWS Word Count 例子
在AWS里用Elastic Map Reduce 开一个Cluster然后登陆master node并编译以下程序:import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; ...
分类:其他好文   时间:2014-07-22 23:01:32    阅读次数:405
selenium 开始
一直忘记写selenium的开始学习的过程,今天趁五一,天气有雨,写下这文章1.进入selnium官网,了解selenium1,2,grid的区别。下载c#相关的包(使用c#的人非常少)2.使用IED录制脚本,用C#导出,观察脚本的写法。当然需要在selenium官网下载IDE(firefox) 2...
分类:其他好文   时间:2014-07-22 23:00:53    阅读次数:368
批处理判断是否特殊字符的实现代码(转自:www.jbxue.com)
分享一个批处理脚本,判断是不是特殊字符。原文地址:http://www.jbxue.com/article/17770.html用于判断输入的一个字符是否为"&^>中的符号。注意,匹配字符串中的空格不可省略!批处理代码:@echo offset Input=S set /p Input=Please...
分类:其他好文   时间:2014-07-22 23:00:34    阅读次数:394
/bin/bash^M: bad interpreter: 没有那个文件或目录
运行脚本时出现了这样一个错误,打开之后并没有找到所谓的^M,查了之后才知道原来是文件格式的问题,也就是linux和windows之间的不完全兼容。。。具体细节不管,如果验证:vim test.sh:set ff?如果出现fileforma=dos那么就基本可以确定是这个问题了。:set filefo...
分类:其他好文   时间:2014-07-22 23:00:13    阅读次数:243
hadoop wordCount运行
本文以康哥的博客为基础进行修改和补充,详见:http://kangfoo.github.io/article/2014/01/hadoop1.x-wordcount-fen-xi/hadoop mapreduce 过程粗略的分为两个阶段: 1.map; 2.redurce(copy, sor...
分类:其他好文   时间:2014-05-02 00:06:57    阅读次数:553
批处理脚本结合Maven制作的自动打包工具
主要是在批处理文件中调用mavn命令实现自动打包等一系列操作...
分类:其他好文   时间:2014-04-30 22:42:38    阅读次数:399
MapReduce--Logistic Regression (逻辑回归)
MapReduce--Logistic Regression...
分类:其他好文   时间:2014-04-30 22:37:39    阅读次数:830
Lua chapter 1
1. 调用其他的.lua文件   dofile("xx.lua");   2. 避免用 "_VERSION"这类的标识符,Lua将这类标识符用作特殊用途,通常保留"_"作为”哑变量“ 3. Lua的一些保留字:    do in local nil until 等     4. 注释:-- 表示行注释   --[[ ... ]] 表示块注释 一般的块注释这样写: --[[ ...
分类:其他好文   时间:2014-04-30 22:34:38    阅读次数:270
flare-spork: 自己维护的Pig on Spark项目
很早以前有个Pig Spork分支,尝试把Pig迁移到Spark上,但是代码很久没有更新了。目前Pig on Spark应该是在Twitter内部进行着。 flare-spork是基于Spork对Pig和Spark的衔接,把Spark部分的代码迁移到了Pig 0.12.0上,并且升级了依赖和版本,升级为Scala 2.10.3,Spark 0.9.1,且兼容Hadoop 2.2.0。 目前项目在Github上,地址。打算参考Spork已经做的一些东西,继续Pig on Spark的开发。 Github...
分类:其他好文   时间:2014-04-30 22:15:39    阅读次数:360
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!