MozillaCookiejar 保存百度得Cookiejar信息： from urllib import request from urllib import parse from http.cookiejar import MozillaCookieJar # 保存在本地 cookiejar=M ...
分类：
编程语言 时间：
2020-02-25 23:53:35
阅读次数：
131
一.Redis简介 NoSQL介绍：用于解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。 NoSQL数据库的四大分类： 键值存储数据库：Redis,Oracle BDB,Voldemort 列存储数据库：HBase 文档型数据库：MongoDb 图形数据库：Neo4J NoSQL数据 ...
分类：
其他好文 时间：
2020-02-25 22:59:30
阅读次数：
69
scrapy快速上手之crawl模板 "前面" 提到过，我们使用了basic作为模板生成了爬虫 现在介绍另外一种模板：crawl 创建项目 首先在命令行界面执行： 后，即可得到提示 You can start your first spider with: cd Spider scrapy gens ...
分类：
编程语言 时间：
2020-02-25 21:50:55
阅读次数：
126
MongoDB3.6版新特性如下： （1）Default Bind to Localhost 从3.6版本开始，在默认情况下，MongoDB二进制文件mongod和mongos绑定到localhost(127.0.0.0)上。如果在二进制文件中设置了--ipv6选项或者在配置文件中配置了net.ip ...
分类：
数据库 时间：
2020-02-25 21:49:35
阅读次数：
83
1.mongodb安装后了解 mongo.exe是客户端 mongod.exe是服务器 配置环境变量 默认 监听端口port=27017 3306是mysql，6379是redis的 2.启动配置 启动命令：mongod直接在cmd输入mongod.exe启动服务器，报错。原因是没有配置好放数据的文 ...
分类：
数据库 时间：
2020-02-25 14:27:48
阅读次数：
86
ProxyHandler处理器一、如果我们在一段时间内用某个ip地址访问了一个网站次数过多，网站就检测到不正常，就会禁止这个ip地址的访问。所以我们可以设置一些代理服务器，每段时间换个代理，就算ip被禁止，我们也可以换个ip继续爬取 代理有 1、西刺免费代理：http://www.xicidaili ...
分类：
编程语言 时间：
2020-02-25 00:33:37
阅读次数：
86
在数据库存放的数据中，有一种特殊的键值叫做主键，它用于惟一地标识表中的某一条记录。也就是说，一个表不能有多个主键，并且主键不能为空值。 无论是MongoDB还是MySQL，都存在着主键的定义。 对于MongoDB来说，其主键名叫”_id”，在生成数据的时候，如果用户不主动为其分配一个主键的话，Mon ...
分类：
数据库 时间：
2020-02-24 18:49:45
阅读次数：
78
1 #!/usr/bin/env python 2 # -*- coding: utf-8 -*- 3 # python3 4 import string 5 import urllib 6 from urllib import request 7 from bs4 import Beautiful ...
分类：
编程语言 时间：
2020-02-24 16:51:48
阅读次数：
129
下载地址： https://www.mongodb.com/download-center/community 可以使用命令 wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.8.tgz 解压到安装目录 在/usr/loca ...
分类：
数据库 时间：
2020-02-24 14:47:00
阅读次数：
76
这周主要学习了有关python爬虫知识： 一开始的爬虫三大库：Requests,BeautifulSoup,Lxml(Lxml比BeautifulSoup解析快) Xpath语法； 解析json数据；https://www.cnblogs.com/sengzhao666/p/12335379.htm ...
分类：
其他好文 时间：
2020-02-24 13:01:07
阅读次数：
67
