实现的功能 主要整合了lombok插件实现getter/setter等通用方法的自动生成,同时自定义实现了一个注释生成器, 通过抓取数据库表里面的注释作为实体类的注释内容。 插件的用法 https://github.com/GuoGuiRong/mybatis-generator-lombok-pl ...
分类:
其他好文 时间:
2019-05-14 13:11:33
阅读次数:
107
. monkey日志管理 adb shell monkey –v –v 100 >d:\monkeylog.log保存到本地要保存在手机的话,首先需要进入adb shell然后在运行monkey +目标路径(通常在sdcard下保存)错误流和标准流日志文件分开保存:adb shell monkey ...
分类:
其他好文 时间:
2019-05-08 10:58:42
阅读次数:
128
Bug:程序编写有问题造成的错误,称之为Bug. debug:调试 注意:bug是程序本身有问题、有缺陷、系统漏洞 异常:完全无法在程序运行中预测的错误,例如写入文件的时候,磁盘满了,写不进去了,或者从网络抓取数据时,网络突然断掉了 try ……except……finally…… 某些代码可能会出错 ...
分类:
编程语言 时间:
2019-05-03 13:05:21
阅读次数:
203
在selenium webdriver实现自动化抓取数据过程中,发现无法从webdriver获取页面response 查来查去最终在 stackoverflow 上找到了这一篇文章 文章中说:webdriver是不可能提供页面response接口的,这件事是经过反复讨论的 连接如下: https:/ ...
分类:
Web程序 时间:
2019-04-26 18:05:40
阅读次数:
580
urllib包提供了一个高级接口,用于编写需要与HTTP服务器、FTP服务器和本地文件交互的客户端。典型的应用程序包括从网页抓取数据、自动化、代理、Web爬虫等。 1. urllib.request \(\) 该模块最常见的用途是通过HTTP从Web服务器获取数据。 urlopen\(url \[, ...
分类:
Web程序 时间:
2019-04-21 12:55:47
阅读次数:
160
本文将介绍使用GoldData半自动登录功能,来采集需要登录网站的数据。GoldData半自动登录功能,就是指通过脚本来执行登录,如果需要验证码或者其它内容需要人工输入时,可以通过收发邮件来执行登录流程。
分类:
其他好文 时间:
2019-04-07 09:35:34
阅读次数:
169
爬虫,是按照一定的规则,自动地抓取万维网信息的程序或者脚本,实质就是通过程序自动去获取 Web 页面上想要获取的数据,即自动抓取数据。 浏览器的所有结果都是由代码组成,爬虫就是为了获取这些内容,通过过滤、分析代码,从中获取我们想要的数据。 2. 理解爬虫开发过程 1).简要说明浏览器工作原理; 网络 ...
分类:
其他好文 时间:
2019-03-27 19:38:57
阅读次数:
165
,使用JFinal+JSoup组合,抓取数据,数据清洗筛选,最终保存到数据库里,结构化 ...
分类:
其他好文 时间:
2019-03-17 01:15:17
阅读次数:
221
beautiful soup 入门 Beautiful Soup 是 python 的一个库,最主要的功能是从网页抓取数据。 Beautiful Soup 自动将输入文档转换为 Unicode 编码,输出文档转换为 utf-8 编码。你不需要考虑编码方式,除非文档没有指定一个编码方式,这时,Beau ...
分类:
其他好文 时间:
2019-02-21 20:24:26
阅读次数:
225
如果你想抓取数据,又懒得写代码了,可以试试 web scraper 抓取数据。 相关文章: "最简单的数据抓取教程,人人都用得上" "web scraper 进阶教程,人人都用得上" 如果你在使用 web scraper 抓取数据,很有可能碰到如下问题中的一个或者多个,而这些问题可能直接将你计划打乱 ...
分类:
Web程序 时间:
2019-02-20 09:27:54
阅读次数:
494