student类必须标记序列化using System;using System.Collections.Generic;using System.Text;namespace TextFile{ [Serializable] class Student { public string ...
分类：
其他好文 时间：
2014-11-19 15:54:42
阅读次数：
192
使用Spark有一段时间了，现在记录spark调优的一些经验。1.textFile的minparitition，只是设置最小的partition数目，下界（比如3），当数据量大的时候，改参数不起作用。可以尝试设置成10002. reduceByKey的并行度，也就是reduce的数目。 2.1 s....
分类：
其他好文 时间：
2014-10-31 23:30:55
阅读次数：
326
SqlBulkCopy.WriteToServer has 4 overloads:SqlBulkCopy.WriteToServer (DataRow[]) Copies all rows from the supplied DataRow array to a destination table...
分类：
数据库 时间：
2014-10-22 09:59:00
阅读次数：
341
Hive常用的存储类型有：1、TextFile： Hive默认的存储类型；文件大占用空间大，未压缩，查询慢；2、Sequence File：3、RCFile：facebook开发的一个集行存储和列存储的优点于一身，压缩比更高，读取列更快，它在mr环境中大规模数据处理中扮演着重要的角色；是一种行列存储...
分类：
其他好文 时间：
2014-08-14 16:01:08
阅读次数：
283
首先所有的输入格式都继承FileInputFormat，对于TextFile和SequenceFile有对应的TextInputFormat和SequenceFileInputFormat。我们先来看一下TextInputFormat的实现：publicclassTextInputFormatextendsFileInputFormat<LongWritable,Text>
implementsJobConfigurable{
p..
分类：
其他好文 时间：
2014-08-04 18:17:29
阅读次数：
677
val graph=GraphLoader.edgeListFile(sc,"/home/spark/spark/graphx/data/followers.txt")//加载边时顶点是边上出现的点,定点默认数据是1
val users = sc.textFile("/home/spark/spark/graphx/data/users.txt").map { line=>
val field...
分类：
其他好文 时间：
2014-08-01 23:17:12
阅读次数：
323
本文介绍了spark对hadoop sequencefile的读写支持，实现方式以及简单的使用方法。sequencefile和textfile类似，在上下文里有直接提供读取方法，但最终走的还是hadoopFile方法。...
分类：
其他好文 时间：
2014-07-10 17:11:52
阅读次数：
951
要求：用户从外部导入TXT文件（input textfile），该文件有三列，分别是storeNum,MosrName,MosrNum，如下是一个input textfile的Case:5099,Scoresby,56595250,Scoresby,56595211,Scoresby,5659513...
分类：
其他好文 时间：
2014-07-06 13:12:43
阅读次数：
232
#!/usr/bin/envpython
#-*-coding:utf8-*-
importsmtplib
fromemail.mime.textimportMIMEText
textfile=‘sendmail.html‘
withopen(textfile,‘rb‘)asf:
msg=MIMEText(fp.read(),‘html‘,‘utf8‘)
msg.set_charset(‘utf8‘)
me=‘xxx@163.com‘
you=‘xxxx@qq.com‘
msg[‘Subject‘]=..
分类：
编程语言 时间：
2014-07-04 06:41:33
阅读次数：
325
分布式数据集创建之textFile
文本文件的RDDs能够通过SparkContext的textFile方法创建，该方法接受文件的URI地址（或者机器上的文件本地路径，或者一个hdfs://,
sdn://,kfs://,其他URI).这里是一个调用样例：scala> val distFile...
分类：
其他好文 时间：
2014-05-29 18:58:27
阅读次数：
429
