1. 简单说明爬虫原理 程序模拟浏览器送请求来获取网页代码,提取出有用的数据,储存起来。 2. 理解爬虫开发过程 1).简要说明浏览器工作原理; 浏览器提交请求 >下载网页代码 >解析成页面 2).使用 requests 库抓取网站数据; requests.get(url) 获取校园新闻首页html ...
                            
                            
                                分类:
其他好文   时间:
2019-03-31 23:18:14   
                                阅读次数:
221
                             
                    
                        
                            
                            
                                    我最近在使用mongoDB的时候,发现了这个警告语句,纳闷了,按照官方文档的教程去连接数据库还能出错,也是醉了。 后来尝试去阅读相关资料,发现只是需要将{ useNewUrlParser: true }传入到connect方法中即可: 就不会显示那烦人的警告了,快乐编程。 ...
                            
                            
                                分类:
Web程序   时间:
2019-03-27 15:31:02   
                                阅读次数:
202
                             
                    
                        
                            
                            
                                Main 方法,mybatis 版本为 3.5.0 new SqlSessionFactoryBuilder().build(inputStream) org.apache.ibatis.session.SqlSessionFactoryBuilder parser.parse() org.apac ...
                            
                            
                                分类:
数据库   时间:
2019-03-19 12:24:10   
                                阅读次数:
187
                             
                    
                        
                            
                            
                                    因为 redhat 的 yum 是收费,所以需要换成 Centos 的 yum 才可以 首先,卸载 redhat 的 yum 软件 其次,下载 Centos yum rpm 包, 并安装 运行查看 yum 版本 下载一个 Centos7 repo 模板 修改这个模板的内容 如下: 执行更新源的操作  ...
                            
                            
                                分类:
其他好文   时间:
2019-03-18 11:50:55   
                                阅读次数:
259
                             
                    
                        
                            
                            
                                    import requests,bs4,os #利用 requests 模块下载页面 url='http://xkcd.com' os.makedirs('xkcd', exist_ok=True) #创建一个文件夹xkcd while not url.endswith('#'): res=requ... ...
                            
                            
                                分类:
Web程序   时间:
2019-03-13 16:52:54   
                                阅读次数:
235
                             
                    
                        
                            
                            
                                1 import requests 2 3 url = "https://movie.douban.com/cinema/nowplaying/changsha/" 4 proxy = { 5 'HTTP': '116.209.53.143:9999' 6 } 7 headers = { 8 'Us ...
                            
                            
                                分类:
其他好文   时间:
2019-03-10 20:31:45   
                                阅读次数:
206
                             
                    
                        
                            
                            
                                    const express = require('express'), app = express(), router = express.Router(), bodyParser = require('body-parser');//解析请求的body中的内容[必须] router.all('*'... ...
                            
                            
                                分类:
其他好文   时间:
2019-03-08 12:43:16   
                                阅读次数:
169
                             
                    
                        
                            
                            
                                    https://lucene.apache.org/solr/guide/7_2/collapse-and-expand-results.html#collapsing-query-parser 对应的源码实现QParserPlugin 具体如下: ...
                            
                            
                                分类:
Web程序   时间:
2019-03-07 17:46:24   
                                阅读次数:
214
                             
                    
                        
                            
                            
                                一、Bind简介 BIND(Berkeley(美国加州大学伯克利分校) Internet Name Domain)。 BIND目前由ISC(Internet Systems Consortium,www.isc.org,互联网系统协会;DHCP服务器也由ISC维护)维护 查看当前系统下与Bind相关 ...
                            
                            
                                分类:
其他好文   时间:
2019-03-07 10:25:52   
                                阅读次数:
316