码迷,mamicode.com
首页 >  
搜索关键字:hadoop mapreduce job eclipse    ( 44113个结果
Intellij IDEA +genymotion安装配置
Intellij IDEA是一款非常好用的java编辑器,比Eclipse的代码提示要友善的多,优缺点不多讲了。下面讲如何安装配置。1)如官网下载最新版本http://www.jetbrains.com/idea/download/左边的旗舰版,可以使用30天,右边的是社区免费版。我们下载左边的。下...
分类:其他好文   时间:2014-05-05 12:44:50    阅读次数:365
eclipse+cygwin+cdt搭建c/c++开发环境
Cygwin 是一个用于 Windows 的类 UNIX shell 环境。 它由两个组件组成:一个 UNIX API 库,它模拟 UNIX 操作系统提供的许多特性;以及 Bash shell 的改写版本和许多 UNIX 实用程序,它们提供大家熟悉的 UNIX 命令行界面。前一个组件是一个 Wind...
分类:编程语言   时间:2014-05-05 12:03:37    阅读次数:456
android 导入工程
过完忙碌的五一,开始辛勤的工作了 ,eclipse 用不惯,导入工程都不会,百度了一下在开始使用Eclipse的时候,会发现一个问题,那就是如何打开一个现有的Eclipse工程,开始在菜单中找了好久也没找到。 其实,Eclipse生成的结果不像VC,Jcreator那样可以直接打开,若要打开非w.....
分类:移动开发   时间:2014-05-05 11:30:07    阅读次数:490
Eclipse c++ 调试
详细信息在运行菜单上,下面件几个重要的:单步进入 F5单步调试 F6单步跳出 F7添加断点 K删除断点L查看变量值:鼠标停留在变量上运行到 CTR+R
分类:编程语言   时间:2014-05-04 10:47:11    阅读次数:239
Eclipse快捷键
1【ALT+/】此快捷键为用户编辑的好帮手,能为用户提供内容的辅助,不要为记不全方法和属性名称犯愁,当记不全类、方法和属性的名字时,多体验一下【ALT+/】快捷键带来的好处吧。2【Ctrl+O】显示类中方法和属性的大纲,能快速定位类的方法和属性,在查找Bug时非常有用。3【Ctrl+/】快速添加注释...
分类:系统相关   时间:2014-05-04 10:45:15    阅读次数:383
ubuntu下hadoop环境配置
软件环境: 虚拟机:VMware Workstation 10 操作系统:ubuntu-12.04-desktop-amd64 JAVA版本:jdk-7u55-linux-x64 Hadoop版本:hadoop-1.2.1 Hadoop下载地址:http://mirrors.cnnic.cn/apa...
分类:其他好文   时间:2014-05-04 10:43:51    阅读次数:370
Eclipse 安装插件
本文介绍Eclipse插件的安装方法。Eclipse插件的安装方法大体有三种:直接复制、使用link文件,以及使用eclipse自带的图形界面的插件安装方法。AD:做为当下最流行的开源IDE之一,Eclipse的一大优势就在于其无数优秀的插件。一个好的插件可以大大的提高我们的工作效率,学习如何安装E...
分类:系统相关   时间:2014-05-04 10:35:21    阅读次数:417
使用hadoop multipleOutputs对输出结果进行不一样的组织
MapReduce job中,可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出目录中,框架自己会自动对输出文件进行命名和组织,如:part-(m|r)-00000之类。但有时为了后续流程的方便,我们常需要对输出结果进行一定的分类和组织。...
分类:其他好文   时间:2014-05-04 10:22:15    阅读次数:341
MapReduce 实现数据join操作
前段时间有一个业务需求,要在外网商品(TOPB2C)信息中加入联营自营识别的字段。但存在的一个问题是,商品信息和自营联营标示数据是两份数据;商品信息较大,是存放在hbase中。他们之前唯一的关联是url。所以考虑用url做key将两者做join,将联营自营标识信息加入的商品信息中,最终生成我需要的数...
分类:其他好文   时间:2014-05-04 10:02:22    阅读次数:565
Spark中的Scheduler
Spark中的Scheduler scheduler分成两个类型,一个是TaskScheduler与其实现,一个是DAGScheduler。 TaskScheduler:主要负责各stage中传入的task的执行与调度。 DAGScheduler:主要负责对JOB中的各种依赖进行解析,根据RDD的依赖生成stage并通知TaskScheduler执行。 实例生成 TaskSchedule...
分类:其他好文   时间:2014-05-04 09:08:02    阅读次数:379
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!