1.StackOverflowError 问题：简单代码记录 : for (day <- days){ rdd = rdd.union(sc.textFile(/path/to/day) .... ) } ...
分类：
其他好文 时间：
2017-03-06 13:31:00
阅读次数：
2864
Spark应用_PageView_UserView_HotChannel 一、PV <!--more--> 对某一个页面的访问量，在页面中进行刷新一次就是一次pv PV {p1, (u1,u2,u3,u1,u2,u4…)} 对同一个页面的浏览量进行统计，用户可以重复 1 2 3 4 5 6 7 8 ...
分类：
其他好文 时间：
2017-03-04 21:10:33
阅读次数：
367
day3: ognl使用#的两种方式： 获取域对象的值（request），<s:iterator>标签中获取list集合数据 ognl使用%的方式：在struts2的表单标签中要使用%标识，不然不能识别， <s:textfile type='text' value='%{#request.usern ...
分类：
其他好文 时间：
2017-03-02 23:42:43
阅读次数：
248
linux查看日志文件内容命令tail、cat、tac、head、echo tail -f test.log你会看到屏幕不断有内容被打印出来. 这时候中断第一个进程Ctrl-C, linux 如何显示一个文件的某几行(中间几行) 从第3000行开始，显示1000行。即显示3000~3999行cat ...
分类：
系统相关 时间：
2017-02-26 23:35:23
阅读次数：
376
/* * spark算子是RDD中定义的函数，可以对RDD中的数据进行转换和操作。 * spark算子的作用： * 1.输入：在spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallelize方法输入scala集合或数据）输入spark， * 数据进入s... ...
分类：
其他好文 时间：
2017-02-04 18:18:49
阅读次数：
328
在编写spark测试应用时， 会用到sc.textFile(path, partition) 当配置为spark分布式集群时，当你读取本地文件作为输入时， 需要将文件存放在每台work节点上。 这时会有困惑，spark在读取文件时，是每台worker节点都把文件读入？ 然后在进行分配？ 会不会出现重 ...
分类：
其他好文 时间：
2017-01-22 10:44:34
阅读次数：
264
1.StackOverflowError
问题：简单代码记录 :
for (day <- days){
rdd = rdd.union(sc.textFile(/path/to/day) .... )
} ...
分类：
其他好文 时间：
2016-12-24 01:30:50
阅读次数：
298
仿QQ登录界面： 说明：以下各图背景红色只是方便看清楚； 1.创建工程：创建xib文件，不会，可看上上上篇：初识xib； 2.打开xib文件： (1).创建头像： 拖控件：uiimageview——》放到任意位置——》点击Align键，Pin键；如下图： 此时：就可以对控件任意约束了： 说明：由于时 ...
分类：
其他好文 时间：
2016-12-23 19:31:19
阅读次数：
254
1. 在生产环境下，很多文件是GBK编码格式的，而SPARK 常用的textFile方法默认是写死了读UTF－8格式的文件，其他格式文件会显示乱码 用如下代码实现读取GBK文件的方法 import org.apache.hadoop.io.{LongWritable, Text}import org ...
分类：
其他好文 时间：
2016-12-07 02:17:16
阅读次数：
284
需要两个按钮和两个Richedit控件,采用默认名称即可. procedure TForm1.Button1Click(Sender: TObject); //写文件 var wText: TextFile;begin AssignFile(wText, 'ip.txt'); Rewrite(wTe ...
