原文链接：Spark中加载本地（或者hdfs）文件以及SparkContext实例的textFile使用 默认是从hdfs读取文件，也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读 本地文件读取 sc.textFile("路径").在路径...
分类：
其他好文 时间：
2015-11-28 18:01:31
阅读次数：
163
1.创建RDDval lines = sc.parallelize(List("pandas","i like pandas"))2.加载本地文件到RDDval linesRDD = sc.textFile("yangsy.txt")3.过滤 filter 需要注意的是 filter并不会在原有RD...
分类：
其他好文 时间：
2015-11-28 14:52:54
阅读次数：
213
文本文件是基本的文件类型，不管是csv, xls, json, 还是xml等等都可以按照文本文件的形式读取。#-*- coding: utf-8 -*-fpath = "data/textfile.txt"f = open(fpath, 'r')## 按照字符读取字符first_char = f.r...
分类：
Web程序 时间：
2015-11-26 21:11:32
阅读次数：
204
1.XIB(可视化编程)使用XIB可视化编程进行视图布局 Interface Builder 运行后变成.nib文件如果使用Border Style为圆角矩形 ,xib或者textfile高度是固定的死值30,想要其他高度,把textfile样式改成其他类型xib布局完之后,依然要初始化window...
分类：
其他好文 时间：
2015-11-21 17:07:34
阅读次数：
214
设计一个哈弗曼编码和译码系统, 要求如下:
B——建树：读入字符集和各字符频度，建立哈夫曼树。
T——遍历：先序和中序遍历二叉树。
E——生成编码：根据已建成的哈夫曼树，产生各个字符的哈夫曼编码。
C——编码：输入由字符集中字符组成的任意字符串，利用已生成的哈夫曼编码进行编码，显示编码结果，并将输入的字符串及其编码结果分别保存在磁盘文件textfile.txt和code...
分类：
其他好文 时间：
2015-11-03 00:45:37
阅读次数：
256
sc.textFile("hdfs://....").flatMap(line =>line.split(" ")).map(w =>(w,1)).reduceByKey(_+_).foreach(println)不使用reduceByKeysc.textFile("hdfs://....").fl...
分类：
其他好文 时间：
2015-10-22 00:23:28
阅读次数：
195
1、创建表格create table usr_info(mob string,reason string,tag string) row format delimited fields terminated by '\t' stored as textfile；2、将本地文件上传到创建表格中load...
分类：
数据库 时间：
2015-09-16 14:06:02
阅读次数：
259
网上很多例子，包括官网的例子，都是用textFile来加载一个文件创建RDD，类似sc.textFile("hdfs://n1:8020/user/hdfs/input") textFile的参数是一个path,这个path可以是： 1. 一个文件路径，这时候只装载指定的文件...
分类：
其他好文 时间：
2015-09-16 12:55:14
阅读次数：
223
今天学习了下scala中的链式调用风格的实现，在spark编程中，我们经常会看到如下一段代码：sc.textFile("hdfs://......").flatMap(_.split(" ")).map(_,1).reduceByKey(_ + _)........这种风格的编程方法叫做链式调用，它...
分类：
其他好文 时间：
2015-09-08 21:55:50
阅读次数：
142
默认是从hdfs读取文件，也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读 本地文件读取 sc.textFile("路径").在路径前面加上file:// 表示从本地文件系统读，如file:///home/user/spark/README.md....
分类：
其他好文 时间：
2015-09-05 23:34:50
阅读次数：
189
