这次 我们以指定executor-memory参数的方式来启动spark-shell： 启动成功了 在命令行中我们指定了spark-shell运行暂用的每个机器上的executor的内存为1g大小，启动成功后参看web页面： 从hdfs上读取文件： 在命令...
声明：代码来自《Hadoop应用技术开发详解》4.7.2，版权归作者所有。1. 概述 文件在Hadoop中表示为一个Path对象，可以把路径看做是Hadoop文件系统的URI，例如：hdfs://master:9000/user/hadoop/study/mr/WordCount/input/fi....
分类：
其他好文 时间：
2015-02-02 17:51:33
阅读次数：
273
sqoop2-1.99.3和sqoop2-1.99.4版本操作略有不同，sqoop2-1.99.3版本参见：Sqoop2入门之导入关系型数据库数据到HDFS上启动sqoop2-1.99.4版本客户端：$SQOOP2_HOME/bin/sqoop.sh client set server --host...
分类：
数据库 时间：
2015-02-02 12:25:24
阅读次数：
279
http://www.cnblogs.com/sunddenly/p/3981583.htmlhadoopshell实战http://www.cnblogs.com/sunddenly/category/611923.htmlhadoop
分类：
系统相关 时间：
2015-02-02 12:19:12
阅读次数：
146
2015 China Hadoop Summit 北京站 上，大家认为vdceye比较难发音，其实当时用vdceye的名字是有原因的，vdc代表 Video Data Center，其实也就是大数据的意思。
根据大家的意见，把vdceye修改为veyesys,好发音吧，由于veye 域名被抢注了，只能用veyesys，类似milestonesys. 另外把支持HDFS 录像的vdceye 改称...
分类：
其他好文 时间：
2015-01-31 23:18:28
阅读次数：
274
java调用API操作HDFS
package mongodb;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URI;
import java.util.Arrays;
import org....
分类：
编程语言 时间：
2015-01-31 16:17:47
阅读次数：
212
HDFS分布式文件系统：优点：支持超大文件存储、流式访问、一次写入多次读取。缺点：不适应大量小文件、不适应低时延的数据访问、不适应多用户访问任意修改文件。1.hadoop用于大数据处理，在数据量较小时，并不适用于实时性强的任务，并不是所有的job放到hadoop上，性能都会提升。2.大量小文件的情况...
分类：
其他好文 时间：
2015-01-30 21:00:06
阅读次数：
358
*号作为python脚本的传入参数时，必须用单引号''，才能正确传入。如python test.py 2014 '*' age
python test.py 2014 * age是错误的。
比如
test.py脚本如下
import sys
hdfs_report_historical_year = sys.argv[1]
# eg:2014-05,2014-12,...
分类：
编程语言 时间：
2015-01-30 19:42:54
阅读次数：
218
FS Shell调用文件系统(FS)Shell命令应使用bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中sch...
分类：
系统相关 时间：
2015-01-30 17:37:01
阅读次数：
350
为了让大家更理解vdceye，在大家的建议下把vdceye Manager 修改为OpenCVR Open Cloud Video Recorder，下个版本正式更名，并正式支持Hadoop HDFS视频存储
https://github.com/xsmart/opencvr
目前视频监控已经经历了DVR NVR，目前的云技术正在把视频监控带到CVR时代， OpenCVR将率先支持...
分类：
其他好文 时间：
2015-01-29 22:37:50
阅读次数：
392
