回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整 ...
分类：
其他好文 时间：
2019-01-10 21:46:21
阅读次数：
201
今天突发奇想小试爬虫,获取一下某素材站一些图片 实现步骤如下: 结果: 期间遇到一点小坑, 此网站非常的鸡贼, 在网页点检查看到的前端代码并不是真正请求获得的, 而是请求发过去后前端对一些细节做了处理, 所以写正则匹配那一部分的时候不能参照网页检查现实的html 解决办法就是先发请求获得真正请求得到 ...
分类：
编程语言 时间：
2019-01-07 22:33:25
阅读次数：
199
python多线程爬虫项目（） 爬取目标：斗图啦（起始url：http://www.doutula.com/photo/list/?page=1） 爬取内容：斗图啦全网图片 使用工具：requests库实现发送请求、获取响应。 xpath实现数据解析、提取和清洗 threading模块实现多线程爬虫 ...
分类：
编程语言 时间：
2018-12-21 22:39:07
阅读次数：
221
一 基本视图 写一个出版社的增删查改resful接口 路由： 二 mixin类和generice类编写视图 三 使用generics 下ListCreateAPIView,RetrieveUpdateDestroyAPIView 四 使用ModelViewSet 五 ViewSetMixin 路由控 ...
分类：
其他好文 时间：
2018-12-17 21:06:44
阅读次数：
309
1:Wilber3 和retrievedata.py这两种方法下载数据 2:先用retrieve.py看能下载的台网有哪些 3:再从wilber3把这些台网搜出来(既有BH*,又有HH*)，看它们分布的方位在哪里 4:然后使用wilber3来下载这些数据 ...
分类：
其他好文 时间：
2018-12-05 20:45:10
阅读次数：
205
When a query is open in the block, the Post-Query trigger fires each time Form Builder fetches a record into a block. The trigger fires once for each ...
分类：
数据库 时间：
2018-11-30 17:36:18
阅读次数：
210
主备切换：1、主库停止应用，确认主库不再有数据生成将主库改为read_only模式 mysql> set global super_read_only=on;Query OK, 0 rows affected (0.00 sec) mysql> set global read_only=on;Que ...
分类：
数据库 时间：
2018-11-26 13:52:09
阅读次数：
208
ssm:SpringMVC+Spring+MyBatis CRUD:Create(创建） Retrieve（查询） Update（更新） Delete（删除） 功能点 1、分页 2、数据校验 .jquery前端校验+JSR303后端校验 3、ajax 4、Rest风格的URI；使用HTTP协议请求方 ...
分类：
其他好文 时间：
2018-11-25 14:42:23
阅读次数：
211
oracle 11g 安装过程中运行./runinstaller 后出现 PRVF-0002 : Could not retrieve local nodename 错误 log： 解决办法： 以root用户编辑 /etc/hosts文件，localhost前添加主机名（hostname）: 保存， ...
分类：
其他好文 时间：
2018-11-23 12:32:03
阅读次数：
256
报错信息： 说明是驱动问题， 驱动和浏览器不匹配，且提示不要用64位ie驱动ie10or11，即使是在64位的电脑上。 我安装的是64位的驱动。换成32位的ie驱动问题消除。 IE驱动包下载地址： http://selenium-release.storage.googleapis.com/inde ...
分类：
其他好文 时间：
2018-11-22 17:11:48
阅读次数：
204
