#import "ViewController2.h"#import @interface ViewController2 (){ UITextField *_textFile; AMapSearchAPI *_search; AMapPlaceSearchRequest *_poiReque...
分类：
其他好文 时间：
2015-06-04 18:43:46
阅读次数：
168
Text文本文件测试一个简单的person.txt文件内容为：JChubby,13
Looky,14
LL,15
分别是Name和Age在Idea中新建Object，原始代码如下：object TextFile{
def main(args:Array[String]){ }
}SparkSQL编程模型：第一步：
需要一个SQLContext对象，该对象是SparkSQL操作的入口...
分类：
数据库 时间：
2015-05-25 10:03:28
阅读次数：
216
1) InputFormatClass
com.cloudera.sqoop.mapreduce.db.DataDrivenDBInputFormat
2) OutputFormatClass1)TextFile
com.cloudera.sqoop.mapreduce.RawKeyTextOutputFormat
2)SequenceFile
org.apache.hado...
分类：
其他好文 时间：
2015-05-21 17:32:22
阅读次数：
386
word分词中的 org.apdplat.word.WordFrequencyStatistics 类提供了词频统计的功能 命令行脚本的调用方法如下： 将需要统计词频的文本写入文件：text.txt
chmod?+x?wfs.sh?&?wfs.sh?-textFile=text.txt?-st...
分类：
其他好文 时间：
2015-05-21 15:44:47
阅读次数：
664
这个其实我前面已经记录过了，这里在记录一下。我可以通过参数人为的来控制分区大小，增加分区中即可增加任务的并行度，并行度高自然运行的就快了嘛。官方推荐集群中每个cpu并行的任务是2-3个（也就是2-3个partition），这样对于资源使用是最充分的那么如何调整并行度呢。在类似 sc.textFile...
分类：
其他好文 时间：
2015-05-20 12:40:42
阅读次数：
414
以一个简单的WordCount代码为例sc.textFile("hdfs://...").flatMap(_.split(" ")).map(_,1).reduceByKey(_+_).map(x => (x._2,x._1)).sortByKey(false).map(x => (x._2,x._1)).saveAsTextFile("hdfs://....")以上代码的作用是读取指定位置的文件，...
分类：
其他好文 时间：
2015-05-15 09:08:38
阅读次数：
304
没有SCALA的东东，玩不起哈。./spark-shell从文件生成一个DRIVER？val logFile = sc.textFile("hdfs://192.168.14.51:9000/usr/root/spark-root-org.apache.spark.deploy.master.Mas...
分类：
其他好文 时间：
2015-04-28 09:29:07
阅读次数：
251
Hadoop集群搭建好之后，解压Spark文件即可 Spark安装包 http://yunpan.cn/csPh8cf2n5WrT 提取码 1085 Spark命令-统计README.md文件行数，以及寻找所含关键字，以及文件第一行的相关命令 val lines = sc.textFile("REA...
分类：
其他好文 时间：
2015-04-14 09:51:10
阅读次数：
751
看书时发现书中写的不一定是正确的。
eg：
scala> val line = sc.textFile("hdfs://Spark:9000/user/root/README.md")
15/03/19 20:03:04 INFO MemoryStore: ensureFreeSpace(202004) called with curMem=744765, maxMem=280248975
1...
分类：
其他好文 时间：
2015-03-19 20:24:09
阅读次数：
200
我们在hdfs的/data/join创建两个文件：
上传第一个文件名称为1.txt
内容第一列是日期，第二列uid(普通用户id)
上传第二个文件名称为2.txt
内容第一列是日期，第二列uid(普通用户id)
执行上传到hdfs：
hdfs命令行查询：
web控制台管理查询：
首先在命令行中设置日期格式：
然后声明...
