在过去，每个应用都是单个程序，跑在单一CPU的单一服务器上。现在不一样了。在大数据和云计算的世界里，应用都是由许多独立的程序运行在一组不断变化的机器上。 协调这些独立程序的行为比起单一程序来困难的多。这样很容易导致开发人员陷入协调的逻辑而没有时间来实现正确的应用逻辑，或者反过来，花很少的时...
分类：
其他好文 时间：
2014-07-16 21:20:54
阅读次数：
149
spark-submit \--name SparkSubmit_Demo \--class com.luogankun.spark.WordCount \--master yarn-client \--executor-memory 1G \--total-executor-cores 1 \/h...
分类：
其他好文 时间：
2014-07-16 21:09:32
阅读次数：
260
spark jdbc分支源码下载地址 https://github.com/apache/spark/tree/branch-1.0-jdbc编译spark jdbc ./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn --wit.....
分类：
数据库 时间：
2014-07-16 21:04:35
阅读次数：
306
记得还没毕业的时候，那时候我还不知道网优是什么，我的目标是做一名改变世界的程序猿，虽然我现在的目标也没有变，但是人毕竟不能两次踏入同一条河流，所以，过去终究只能是过去。 偶然看到了mapreduce,度娘告诉我这是一个用来处理大数据的框架，回想起当时笔试去哪儿网的时候的一篇2M的小说中找出张无忌出....
分类：
其他好文 时间：
2014-07-16 21:00:34
阅读次数：
279
一、笔记本触摸板关闭方法 1、在windows下有官方驱动。 2、ubuntu下没有 操作方法如下： １，终端操作sudo rmmod psmouse 这个是禁用的sudo modprobe psmouse 这个是启用 此操作把左右键也关了。如果不想， 那就用第二种。 ２，在软件中心中搜索"poi....
分类：
其他好文 时间：
2014-07-16 20:47:01
阅读次数：
232
今天查看hadoop源代码， 发现有个Unsafe.java稍微总结下优势 1 减少线程调度开销， Unsafe.java 通过采用非堵塞原子方式来减少线程调度开销 2 传统线程通信通过wait,notify方法实现(会有信号量的堵塞队列)，而Unsafe使用操作系统调度命令park,unpark，...
分类：
编程语言 时间：
2014-07-16 20:37:03
阅读次数：
273
在Hadoop中，有一种处理过程叫Combiner，与Mapper和Reducer在处于同等地位，但其执行的时间介于Mapper和Reducer之间，其实就是Mapper和Reducer的中间处理过程，Mapper的输出是Combiner的输入，Combiner的输出是Reducer的输入。例如.....
分类：
其他好文 时间：
2014-07-16 20:36:31
阅读次数：
185
Spark Standalone模式常见的HA部署方式有两种：基于文件系统的HA和基于ZK的HA本篇只介绍基于ZK的HA环境搭建：$SPARK_HOME/conf/spark-env.sh添加SPARK_DAEMON_JAVA_OPTS的配置信息：export SPARK_DAEMON_JAVA_O...
分类：
其他好文 时间：
2014-07-16 20:27:12
阅读次数：
187
4.3 Map类 创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，...
分类：
其他好文 时间：
2014-07-16 20:22:00
阅读次数：
216
大数据是信息技术的重要概念。很多企业正在搜集大数据并使用复杂的分析工具对其进行分析，以期发现隐藏的规律和关联。如果生产制造系统发生重大变更的时候也能够自动识别并找到最佳的作业条件，例如设备发生故障、原材料特性发生变化或者能源和人力成本发生变化，那么是不是很棒呢?这就是生产制造领域内大数据的存在意.....
分类：
其他好文 时间：
2014-07-16 20:03:29
阅读次数：
165
