Hive文件存储格式包括以下几类： 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE 其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。 SEQUENCEFILE，RCFILE，ORCFILE格式 ...
分类：
其他好文 时间：
2016-11-26 11:59:53
阅读次数：
420
转自 ：http://www.cnblogs.com/tuitui1989/p/5337968.html 一.基本统计量 统计向量的长度,最大值，最小值，非0个数，模1和模2,方差等 import org.apache.spark.mllib.linalg.{Vector,Vectors} impo ...
分类：
其他好文 时间：
2016-11-21 19:03:49
阅读次数：
347
java.lang.OutOfMemoryError: Java heap space解决方法 http://stackoverflow.com/questions/21138751/spark-java-lang-outofmemoryerror-java-heap-space SPARK_MEM ...
分类：
其他好文 时间：
2016-11-18 22:17:38
阅读次数：
449
1.rdd的初始化 1.1 读取文件来初始化rdd(通过sparkContext的textFile方法) 1.1.1 读取本地文件 1.1.2 读取hdfs文件 1.2 并行化集合来初始化rdd(通过sparkContext.) 2.rdd的基本操作（分为transformation和action） ...
分类：
其他好文 时间：
2016-11-18 22:09:47
阅读次数：
208
1.存储格式 textfile rcfile orc parquet 2.存储方式 按行存储 -》textfile 按列存储 -》parquet 3.压缩比 4.存储textfile的原文件 并加载数据 5.大小 6.保存为tectfile，经过mapreduce 7.结果的大小 8.保存为orc格 ...
分类：
其他好文 时间：
2016-11-15 23:41:32
阅读次数：
253
//设置textfile的Placeholder的颜色和字体大小 nameText.attributedPlaceholder = NSAttributedString.init(string: "用户名", attributes: [NSForegroundColorAttributeName: ...
分类：
其他好文 时间：
2016-11-02 14:01:58
阅读次数：
201
【问题】 解压spark的tar包后，执行bin/spark-shell，执行val lines=sc.textFile("README.md")时，抛错error: not found: value sc 【解决办法】 这是因为shell启动时没有初始化sparkContext，修改conf/sp ...
分类：
其他好文 时间：
2016-10-25 14:11:45
阅读次数：
502
//创建一个文本文件 procedure TFrmAutomatismBalance.FlatButton3Click(Sender: TObject); var TF:TextFile; PathStr:string; begin PathStr:=ExtractFilePath(Applicat ...
sc.textFile("README.md").flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_ + _).collect sc.textFile("README.md").flatMap(line => li ...
分类：
其他好文 时间：
2016-09-25 17:11:44
阅读次数：
154
create table hive_1(id string,name string ,gender string)row format delimited fields terminated by ','stored as TEXTFILE; load data local inpath '/luo ...
分类：
其他好文 时间：
2016-09-14 16:31:34
阅读次数：
146
