1. 简单说明爬虫原理 程序模拟浏览器送请求来获取网页代码,提取出有用的数据,储存起来。 2. 理解爬虫开发过程 1).简要说明浏览器工作原理; 浏览器提交请求 >下载网页代码 >解析成页面 2).使用 requests 库抓取网站数据; requests.get(url) 获取校园新闻首页html ...
分类:
其他好文 时间:
2019-03-31 23:18:14
阅读次数:
221
我最近在使用mongoDB的时候,发现了这个警告语句,纳闷了,按照官方文档的教程去连接数据库还能出错,也是醉了。 后来尝试去阅读相关资料,发现只是需要将{ useNewUrlParser: true }传入到connect方法中即可: 就不会显示那烦人的警告了,快乐编程。 ...
分类:
Web程序 时间:
2019-03-27 15:31:02
阅读次数:
202
Main 方法,mybatis 版本为 3.5.0 new SqlSessionFactoryBuilder().build(inputStream) org.apache.ibatis.session.SqlSessionFactoryBuilder parser.parse() org.apac ...
分类:
数据库 时间:
2019-03-19 12:24:10
阅读次数:
187
因为 redhat 的 yum 是收费,所以需要换成 Centos 的 yum 才可以 首先,卸载 redhat 的 yum 软件 其次,下载 Centos yum rpm 包, 并安装 运行查看 yum 版本 下载一个 Centos7 repo 模板 修改这个模板的内容 如下: 执行更新源的操作 ...
分类:
其他好文 时间:
2019-03-18 11:50:55
阅读次数:
259
import requests,bs4,os #利用 requests 模块下载页面 url='http://xkcd.com' os.makedirs('xkcd', exist_ok=True) #创建一个文件夹xkcd while not url.endswith('#'): res=requ... ...
分类:
Web程序 时间:
2019-03-13 16:52:54
阅读次数:
235
1 import requests 2 3 url = "https://movie.douban.com/cinema/nowplaying/changsha/" 4 proxy = { 5 'HTTP': '116.209.53.143:9999' 6 } 7 headers = { 8 'Us ...
分类:
其他好文 时间:
2019-03-10 20:31:45
阅读次数:
206
const express = require('express'), app = express(), router = express.Router(), bodyParser = require('body-parser');//解析请求的body中的内容[必须] router.all('*'... ...
分类:
其他好文 时间:
2019-03-08 12:43:16
阅读次数:
169
https://lucene.apache.org/solr/guide/7_2/collapse-and-expand-results.html#collapsing-query-parser 对应的源码实现QParserPlugin 具体如下: ...
分类:
Web程序 时间:
2019-03-07 17:46:24
阅读次数:
214
一、Bind简介 BIND(Berkeley(美国加州大学伯克利分校) Internet Name Domain)。 BIND目前由ISC(Internet Systems Consortium,www.isc.org,互联网系统协会;DHCP服务器也由ISC维护)维护 查看当前系统下与Bind相关 ...
分类:
其他好文 时间:
2019-03-07 10:25:52
阅读次数:
316