爬虫用到的知识点 1,第一阶段:字符串,列表方法。。。 2,第二阶段:Mysql,MongoDB,多进程爬虫,多线程爬虫,正则表达式re 3,第三阶段:HTML,JS,Redis数据库。。。 ...
分类:
其他好文 时间:
2020-02-18 13:11:26
阅读次数:
53
//1.进入my_test数据库 use my_test //2.向数据库的user集合中插入一个文档 db.users.insert({ username:"sunwukong" }); //3.查询user集合中的文档 db.users.find(); //4.向数据库的user集合中插入一个文 ...
分类:
数据库 时间:
2020-02-17 19:29:31
阅读次数:
74
百度云盘 什么是爬虫?爬虫可以做什么?爬虫的本质爬虫的基本流程什么是request&response爬取到数据该怎么办 什么是爬虫?网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还 ...
分类:
编程语言 时间:
2020-02-17 12:22:42
阅读次数:
164
随着大数据和人工智能的发展,目前Python语言的上升趋势比较明显,而且由于Python语言简单易学,所以不少初学者往往也会选择Python作为入门语言。 ...
分类:
编程语言 时间:
2020-02-17 12:00:51
阅读次数:
82
Elasticsearch(ES)是一个基于Lucene构建开源分布式搜索引擎并提供Restful接口。 Es是一个分布式文档数据库(JSON数据格式存储,类似MongoDB),JSON中的每个字段数据都可作为搜索条件,并且能够扩展至数以百计的服务器存储以及处理PB(PetaByte)级的数据。可在 ...
分类:
其他好文 时间:
2020-02-17 11:52:56
阅读次数:
74
禁用邮件通知:vi/etc/profile在末尾添加#禁止邮件提示unsetMAILCHECK数据库部署及引擎管理数据库简介数据库技术构成1.数据库系统DBSA.数据库管理系统(DataBaseManagementSystem,DBMS):SQL(RDS):ORACLE、OracleMySQL、MariaDB、Perconaserver、DB2NoSQL:Redis、MongoDB、Memcach
分类:
数据库 时间:
2020-02-17 09:23:48
阅读次数:
99
基本操作MongoDB的基本安装https://blog.csdn.net/heshushun/article/details/77776706启动和配置MongoDB服务参考博客https://blog.csdn.net/ljk168/article/details/79452895创建Mongo ...
分类:
数据库 时间:
2020-02-17 00:35:39
阅读次数:
120
这几天在b站看小甲鱼的python3教程,照着写了个有道翻译的程序 代码中字典data中的内容,用浏览器审查元素,先随便输一个要翻译的,找到跳出来的post的那个网址,看formdata就行了 返回的是json格式的,故需解码 代码如下 1 #!/usr/bin/env python 2 # -*- ...
分类:
编程语言 时间:
2020-02-16 22:15:15
阅读次数:
133
接上次的python爬虫进阶,这次学习了针对一些网站的反爬虫处理方式以及用键值对向url传递参数,模拟人工输入的网页搜索。 我们知道,不管是正常的爬虫还是恶意爬虫,不仅会导致网站信息泄露,而且还会导致服务器压力过大。想象一下,一台计算机模拟人工请求访问服务器,并且与以计算机的速度与服务器进行交互,势 ...
分类:
其他好文 时间:
2020-02-16 17:59:14
阅读次数:
77
引言 好久没写文章了,今天回来重操旧业。毕竟现在对后端开发的要求越来越高,大家要做好各种准备。 因此,大家有可能遇到如下问题 为什么Mysql中Innodb的索引结构采取B+树? 回答这个问题时,给自己留一条后路,不要把B树喷的一文不值。因为网上有些答案是说,B树不适合做文件存储系统的索引结构。如果 ...
分类:
数据库 时间:
2020-02-16 14:55:21
阅读次数:
93