//日志
function?Log(AStr:?string):?boolean;
var
??DateStr:?string;
??MyTextFile:?TextFile;
??FileName:?string;
begin
??Result?:=?False;
??DateTimeToString(DateStr,?‘YYYY-MM-DD?H...
使用spark-1.4.1-bin-hadoop2.6进行处理，测试文件大小为3G，测试结果：1:统计一个文件中某个字符的个数scala> sc.textFile("/home/y/my_temp/1.txt").filter(line=>line.contains("ok")).count()sc...
分类：
其他好文 时间：
2015-09-02 09:22:08
阅读次数：
123
NSArray *arrayText = @[@"用户名",@"密码",@"确认密码",@"手机号",@"邮箱"]; NSArray *placeholders = @[@"请输入用户名",@"请输入密码",@"请确认密码",@"请输入手机号",@"请输入邮箱"]; NSIn...
分类：
移动开发 时间：
2015-08-27 22:28:18
阅读次数：
179
TextFile 作为自写的方法，继承自List。像统计文本中出现的哪些单词，不重复等等，适合用Set集合完成统计。 1 class TextFile extends ArrayList{ 2 public static String read(String filename){ 3...
分类：
其他好文 时间：
2015-08-26 19:29:51
阅读次数：
123
注：原文中的代码是在spark-shell中编写执行的，本人的是在eclipse中编写执行，所以结果输出形式可能会与这本书中的不太一样。首先将用户数据u.data读入SparkContext中，然后输出第一条数据看看效果，代码如下：val sc = new SparkContext("local", "ExtractFeatures")
val rawData = sc.textFile("F:\\...
分类：
系统相关 时间：
2015-08-14 13:54:09
阅读次数：
208
原文地址：http://mzorro.me/post/55c85d06e40daa9d022f3cbdWordCount可以说是分布式数据处理框架的”Hello World”，我们可以以它为例来剖析一个Spark Job的执行全过程。我们要执行的代码为：sc.textFile("hdfs://......
分类：
其他好文 时间：
2015-08-10 21:50:06
阅读次数：
1664
方法一: FileStream textFile = File.Open(@"F:\程序\新手测试\linqApplication1\linqApplication1\IO.txt", FileMode.Append); StreamWriter sw =...
program Project1;uses Windows, Messages, SysUtils; procedure DeleteMe; var BatchFile: TextFile; BatchFileName: string; ProcessInfo: TProcessInformatio...
scala> val file = sc.textFile("hdfs://9.125.73.217:9000/user/hadoop/logs") scala> val count = file.flatMap(line => line.split(" ")).map(word => (word,...
分类：
Web程序 时间：
2015-07-12 23:08:03
阅读次数：
274
Spark算子的作用下图描述了Spark在运行转换中通过算子对RDD进行转换。 算子是RDD中定义的函数，可以对RDD中的数据进行转换和操作。 输入：在Spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallelize方法输入Scala集合或数据）输入Spark，数据进入Spark运行时数据空间，转化为Spark中的数据块，通过BlockManager进行...
分类：
其他好文 时间：
2015-07-12 00:21:09
阅读次数：
151
