爬虫基础 什么是爬虫? 爬虫是通过程序模拟浏览器上网,从网上获取数据的过程. 爬虫的分类: 通用爬虫:爬取一整个页面的数据. 聚焦爬虫:爬取页面中指定的局部数据 增量式爬虫:检测网站中数据更新的情况,爬取的是网站中最新更新出来的数据. 什么是反爬机制? 网站制作时设置的一系列阻止爬虫程序进行的阻碍, ...
分类：
其他好文 时间：
2019-06-11 22:25:22
阅读次数：
169
接到朋友求助，说自己一个数据库里的某个表有大量重复数据，使用mysql语句处理的速度太慢，每次只能处理1W条数据，总共800W条数据需要处理，耗时耗力。分开处理也会有大量的遗漏数据需要二次三次处理，最后得到的数据还是会不准确，很显然用mysql语句处理不怎么好。我想到了python中有一个模块pandas是专门用来处理海量数据的，马上网上查下该模块是否有相关的方法，果然，pandas里的drop_
分类：
数据库 时间：
2019-06-11 16:22:07
阅读次数：
160
当年一直有一个龌龊的想法，就是给别人的软件加上自己的限制，比如密码，比如验证等等。 这种想法一直延续到今天，有事没事我就会上网研究一下相关技术，看看别人写的源码，r然后自己想想。 不过，因为技术有限，一直都没能很完美的实现。看过的源码也都原理一样，跟我一开始的思路都是一个东西。 后来发现近在眼前大神 ...
分类：
其他好文 时间：
2019-06-08 15:01:29
阅读次数：
109
在Windows环境下，想建一个HTTP文件服务器，比较简便的方法就是使用HFS（下载地址：HFS下载地址）来实现。这里不介绍HFS怎么实现一个HTTP文件服务器，有兴趣的童鞋可以自行上网了解。本次主要介绍在Windows环境下，使用Nginx作为HTTP文件服务器的方法： Nginx下载地址：ht ...
分类：
其他好文 时间：
2019-06-08 01:12:33
阅读次数：
162
安装了CentOS7后，本地Windows系统连接用的是校园网，虚拟机用的是桥接模式，无法上网。 解决的办法是：找到连接的校园网的网卡，给虚拟机的VMnet8共享。 步骤：打开【网络和共享中心】-【更改适配器设置】-找到【校园网对应的网卡】-右键属性-共享 想共享设置为如上图所示即可 在虚拟机设置中... ...
分类：
系统相关 时间：
2019-06-06 12:03:31
阅读次数：
144
需重做 树的重心 链表 计算机基础知识 1. 无线通讯技术： 蓝牙，wifi，GPRS 现在常用的无线通信技术：FM调频广播（用于收音机）； 2G、3G移动通信技术（中国移动、中国联通、中国电信正在运营的网络；WLAN无线局域网（这个好像包括Wi_Fi。主要用于本本无线上网）； 军事方面的高频、甚高 ...
分类：
编程语言 时间：
2019-06-05 19:23:38
阅读次数：
112
在项目中，v-for渲染列表失败，无报错，数组有数据。上网查，好多说是因为动态绑定class的原因，但是经过几番测试，都无效果。 在经过不断尝试，搜索，终于找到原因所在。 问题原因：在v-for循环中，如果我们在函数中改变了item中的值，在console.log()中查看是修改成功了，但在页面中没 ...
分类：
其他好文 时间：
2019-06-05 15:03:12
阅读次数：
135
经常上网的读者会遇到这种情况：访问一些网站的某些资源时，浏览器弹出一个对话框，要求输入用户名和密码来获取对资源的访问。这就是用户认证的一种技术。用户认证是保护网络系统资源的第一道防线，它控制着所有登录并检查访问用户的合法性，其目标是仅让合法用户以合法的权限访问网络系统的资源。基本的用户认证技术是“用 ...
分类：
Web程序 时间：
2019-06-05 13:54:14
阅读次数：
133
1、使用ppp的校园网或者家庭宽带无法通过桥接上网。 这时要把这俩网卡变成NAT模式就行。 2、无法去国外下载插件包（或者过慢）。 我这里贡献个链接。base64，懂得自然懂。 ...
分类：
其他好文 时间：
2019-06-05 12:39:30
阅读次数：
203
修改网卡命名规范 克隆虚拟机 解决虚拟机连不上网的问题 安装vim 系统操作命令说明 查看帮助手册 系统中的快捷方式使用 和目录结构相关命令 文件和目录都相关的命令 对文件或目录数据信息进行剪切（移动） 文本编辑命令说明 编辑文件的操作步骤 ...
分类：
系统相关 时间：
2019-06-05 09:57:28
阅读次数：
166
