用到了requests、BeautifulSoup、urllib等,具体代码如下。 在编代码的时候,有一些小细节的处理不够熟练,比如文件的读写。下面再搞一搞。 爬虫爬取了前30个页面保存到本地文件中,其实可以考虑用多线程,线程池的方法去分别爬取每一个主页面,这样可能效率会更高一些。至于多线程的部分, ...
分类:
编程语言 时间:
2018-07-21 16:55:19
阅读次数:
128
一、首先说下我在安装TensorFlow的过程中遇到的坑: 1、python的版本是3.5的版本,因为TensorFlow好像只支持到3.5现在。然后python需要安装64位的安装包,如果安装的是32位的,会显示找不到合适的版本。 如果道友没有安装包,可以从下面下载。 python3.5安装包 2 ...
分类:
其他好文 时间:
2018-07-21 15:07:46
阅读次数:
158
基于Python3编写的漏洞检测插件式框架,可以自定义poc或exp。 使用时可以指定要利用的单个poc或含有某个关键字的poc(如:redis)。 ...
分类:
编程语言 时间:
2018-07-21 15:06:06
阅读次数:
255
爬虫性能相关 Python爬虫番外篇之Cookie和Session Python爬虫番外篇之关于登录 python爬虫番外篇(一)进程,线程的初步了解 爬虫性能相关 Python爬虫番外篇之Cookie和Session Python爬虫番外篇之关于登录 python爬虫番外篇(一)进程,线程的初步了 ...
分类:
编程语言 时间:
2018-07-21 14:41:04
阅读次数:
146
转自:http://www.gnss.help/2016/12/01/install-pyyaml/ YAML(YAML Ain’t Markup Language)是一种直观的能够被电脑识别的数据序列化格式,既方便被人类阅读,又容易被程序解析。相比 XML 和 JSON ,其语法更简洁直白。YAM ...
分类:
编程语言 时间:
2018-07-21 14:32:18
阅读次数:
1353
安装阶段: sublime text3的安装: 下载网址:https://www.sublimetext.com/ 下载完成后 ,点击安装即可。 安装Package Control: 点击 Tools -> install Package Control 安装anaconda: ctrl+shift ...
分类:
编程语言 时间:
2018-07-21 14:31:51
阅读次数:
184
python读取CSV文件 python中有一个读写csv文件的包,直接import csv即可。利用这个python包可以很方便对csv文件进行操作,一些简单的用法如下。 1. 读文件 csv_reader = csv.reader(open('data.file', encoding='utf- ...
分类:
编程语言 时间:
2018-07-21 14:28:30
阅读次数:
158
运行 提示:No module named MySQLdb 对于python2和python3安装的软件包不一样 ...
分类:
数据库 时间:
2018-07-21 12:13:34
阅读次数:
195
下面是爬虫相关的包安装过程,作为参考,不是全要,选择安装。 一.编译python3: 1、安装或依赖包:yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-deve ...
分类:
编程语言 时间:
2018-07-21 11:52:22
阅读次数:
162
?Python中的变量不需要声明,每个变量在使用前都需要赋值,变量赋值以后该变量才会被创建。 在Python中,变量就是变量,它没有数据类型,我们所说的"类型"是变量所指的内存中对象的类型。 等号(=)用来给变量赋值。 等号(=)运算符左边是一个变量名,等号(=)运算符右边是存储在变量中的值。例如: ...
分类:
编程语言 时间:
2018-07-21 11:49:58
阅读次数:
207