注意：使用配置文件时一定要先备份一份，取名：name-backup.conf公益图书馆平台一、环境搭建篇：1.修改apache中默认的项目文件夹在httpd.conf中修改DocumentRoot "XXX/htdocs" 为 DocumentRoot "E:/Source/PhpStorm" .....
分类：
其他好文 时间：
2014-07-16 20:45:41
阅读次数：
129
今天查看hadoop源代码， 发现有个Unsafe.java稍微总结下优势 1 减少线程调度开销， Unsafe.java 通过采用非堵塞原子方式来减少线程调度开销 2 传统线程通信通过wait,notify方法实现(会有信号量的堵塞队列)，而Unsafe使用操作系统调度命令park,unpark，...
分类：
编程语言 时间：
2014-07-16 20:37:03
阅读次数：
273
在Hadoop中，有一种处理过程叫Combiner，与Mapper和Reducer在处于同等地位，但其执行的时间介于Mapper和Reducer之间，其实就是Mapper和Reducer的中间处理过程，Mapper的输出是Combiner的输入，Combiner的输出是Reducer的输入。例如.....
分类：
其他好文 时间：
2014-07-16 20:36:31
阅读次数：
185
Spark Standalone模式常见的HA部署方式有两种：基于文件系统的HA和基于ZK的HA本篇只介绍基于ZK的HA环境搭建：$SPARK_HOME/conf/spark-env.sh添加SPARK_DAEMON_JAVA_OPTS的配置信息：export SPARK_DAEMON_JAVA_O...
分类：
其他好文 时间：
2014-07-16 20:27:12
阅读次数：
187
4.3 Map类 创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，...
分类：
其他好文 时间：
2014-07-16 20:22:00
阅读次数：
216
最近要处理后台的文件检索，于是在老大的指导下知道了有lucene这种牛B的开源文件检索引擎，于是来学学，lucene得用java开发，所以很明显首先得把环境搭建好，哈哈当然先搭建linux下java了。说到java我又想说说我之前配置java环境变量的时候，老是把jre和jdk混淆了，现在是理清了，...
分类：
编程语言 时间：
2014-07-16 19:33:50
阅读次数：
238
非原创在http://www.2cto.com/kf/201305/213314.html的基础上稍做修改。1、官网下载最新的SDK开发包_iOS静态库文件 http://developer.baidu.com/map/sdkiosdev-download.htm解压后如下：其中inc是头文件map...
紧跟之前Hadoop 开源调度系统zeus(一)本节主要介绍一下zeus的架构：先给一个zeus的架构图无论Master还是Worker都有一套WEB UI，无论从哪个上面去看，看到的结果都是一样的，实际上一般仅仅看主Master：调度内核，在启动时启动一个TCP服务，同一时候将全部任务读到内存中，...
分类：
其他好文 时间：
2014-07-13 12:23:58
阅读次数：
371
课程主要涉及Hadoop Sqoop、Flume、Avro重要子项目的技术实战
课程针对人群
1、本课程适合于有一定java基础知识，对数据库和sql语句有一定了解，熟练使用linux系统的技术人员，特别适合于想换工作或寻求高薪职业的人士
2、最好有Greenplum Hadoop、Hadoop2.0、YARN、Sqoop、FlumeAvro等大数据基础，学习过北风课程《Gree...
分类：
其他好文 时间：
2014-07-12 20:58:37
阅读次数：
220
jdk1.6 1.7 eclipse 3.7.2 SDK-r12 ADT 12SDK和ADT必须配套搭建环境需要四个软件:1、JDK（这是最新版本jdk1.7官方下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.h....
分类：
移动开发 时间：
2014-07-12 16:08:08
阅读次数：
241
