spark-submit \--name SparkSubmit_Demo \--class com.luogankun.spark.WordCount \--master yarn-client \--executor-memory 1G \--total-executor-cores 1 \/h...
分类：
其他好文 时间：
2014-07-16 21:09:32
阅读次数：
260
spark jdbc分支源码下载地址 https://github.com/apache/spark/tree/branch-1.0-jdbc编译spark jdbc ./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn --wit.....
分类：
数据库 时间：
2014-07-16 21:04:35
阅读次数：
306
什么是JBoss MSCJBoss MSC 即JBoss Modular Service Container，是第三代 JBoss 产品 JBoss 7和WildFfly的内核，JBoss MSC 替换了之前的JMX Kernel 和MicroContainer，它主要特定能够总结例如以下三点：高并...
分类：
其他好文 时间：
2014-07-16 21:03:39
阅读次数：
227
iOS开发项目篇—19获取授权过的访问标记一、简单说明 1.获取授权2.简单说明说明：（1）只能使用post请求（2）post请求的参数有5个，且五个参数都是必须的。（3）新浪会返回一个JSON，转成OC对象为字典，可以通过Key取出ACCESS_TOKEN。二、实现1.导入第三方框架2.使用字典....
分类：
移动开发 时间：
2014-07-16 19:43:56
阅读次数：
285
OpenStack身份术语说明 Identity 身份 User 用户 Tenant 租户（工程） Service 服务 Endpoint 终端 X-Auth-Token HTTP请求头字段，应填充操作请求者拥有的由keystone颁发的token X-Subject-Token
分类：
其他好文 时间：
2014-07-13 00:42:45
阅读次数：
330
4.4 Reduce类
4.4.1 Reduce介绍
整完了Map，接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法开始和MapTask类似，包括initialize()初始化，根据情况看是否调用runJobCleanupTask()，runTaskCleanupTask()等。之后进入正式的工作，主要有这...
分类：
其他好文 时间：
2014-07-12 22:50:33
阅读次数：
185
1 概述
该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。
2 为什么要使用MapReduce
Map/Reduce，是一种模式，适合解决并行计算的问题，比如TopN、贝叶斯分类等。注意，是并行计算，而非迭代计算，像涉及到层次聚类的问题就不...
分类：
其他好文 时间：
2014-07-12 21:31:22
阅读次数：
296
课程主要涉及Hadoop Sqoop、Flume、Avro重要子项目的技术实战
课程针对人群
1、本课程适合于有一定java基础知识，对数据库和sql语句有一定了解，熟练使用linux系统的技术人员，特别适合于想换工作或寻求高薪职业的人士
2、最好有Greenplum Hadoop、Hadoop2.0、YARN、Sqoop、FlumeAvro等大数据基础，学习过北风课程《Gree...
分类：
其他好文 时间：
2014-07-12 20:58:37
阅读次数：
220
4.3 Map类
创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，cleanup方法是整个map任务结束的时候运行一次。
4.3.1 Map介绍
...
分类：
其他好文 时间：
2014-07-12 17:23:40
阅读次数：
262
1、Shell$ExitCodeException
现象：运行hadoop job时出现如下异常：
14/07/09 14:42:50 INFO mapreduce.Job: Task Id : attempt_1404886826875_0007_m_000000_1, Status : FAILED
Exception from container-launch: org.apache....
分类：
其他好文 时间：
2014-07-11 00:24:58
阅读次数：
355
