Spark Core提供了三种创建RDD的方式，包括：使用程序中的集合创建RDD；使用本地文件创建RDD；使用HDFS文件创建RDD。1、并行化集合如果要通过并行化集合来创建RDD，需要针对程序中的集合，调用SparkContext的parallelize()方法。Spark会将集合中的数据拷贝到集... ...
分类：
其他好文 时间：
2017-07-26 19:24:24
阅读次数：
263
'Swift_SmtpTransport', 'host' => 'smtp.163.com', 'username' => 'xxx@163.com', 'password' => 'xxx', 'port' => '994', 'e... ...
分类：
其他好文 时间：
2017-07-26 18:09:58
阅读次数：
136
常用命令：一、ls 只列出文件名 （相当于dir，dir也可以使用） -A:列出所有文件，包含隐藏文件。 -l：列表形式，包含文件的绝大部分属性。 -R：递归显示。 --help：此命令的帮助。 二、cd 改变目录 cd /:进入根目录 cd ：回到自己的目录（用户不同则目录也不同，root为/ro ...
分类：
其他好文 时间：
2017-07-26 17:42:53
阅读次数：
172
var overtime='5555555555555555 success 5000000 4999883 12 80088800'; function parseXMLsimple(target){ var reg=/(.+)/g; var obj={}; target.replace(reg,... ...
分类：
Web程序 时间：
2017-07-26 17:42:05
阅读次数：
257
以npm安装msbuild为例： npm install msbuild: 会把msbuild包安装到node_modules目录中 不会修改package.json 之后运行npm install命令时，不会自动安装msbuild npm install --save: 会把msbuild包安装到 ...
分类：
其他好文 时间：
2017-07-26 14:38:00
阅读次数：
158
情报搜集环境站渗透测试全过程的80%~90% 一、外围信息搜集（公开渠道信息搜集OSINT open source intelligence） 3.1.1信息收集-通过DNS和IP地址挖掘目标网络信息 1.whois域名注册信息查询 whois查询时去掉www、ftp等前缀 2.nslookup与d ...
分类：
其他好文 时间：
2017-07-26 13:36:04
阅读次数：
191
近期，有一个需求，需要解析HTML页面，读取一些需要的数据后，插入本地数据库。我知道可以通过正则表达式实现，然而正则表达式之于我，就像汇编语言之于我，一样。我知道它是干什么的，我也知道它能干什么，但是我一直不知道怎么干，曾经尝试过，后来用得太少，最终放弃了。也知道有一些组件可以实现操作HMTL，比如 ...
# -*- coding: utf-8 -*- # Scrapy settings for JobBole project # # For simplicity, this file contains only settings considered important or # commonly ... ...
分类：
其他好文 时间：
2017-07-25 19:50:58
阅读次数：
118
sys模块常见函 sys.argv: 实现从程序外部向程序传递参数。 sys.exit([arg]): 程序中间的退出，arg=0为正常退出。 sys.getdefaultencoding(): 获取系统当前编码，一般默认为ascii。 sys.setdefaultencoding(): 设置系统默 ...
分类：
编程语言 时间：
2017-07-25 15:44:35
阅读次数：
201
（原创文章，谢绝转载~） 日常开发中，常用正则表达式方便的进行匹配、筛选工作。正则的常用内容有： 一般情况下原则：从左至右，越多越好（贪婪） 字符；转义：\ ，如 \*，\d （数字）等 选择，case1|case2|case3， 注意：对于大部分正则引擎，匹配规则是从左至右优先，因而，string ...
分类：
其他好文 时间：
2017-07-25 12:40:56
阅读次数：
99
