Jsoup介绍 1.为什么要使用Jsoup? 抓取到网页后，还需要对页面进行解析。对于解析有很多处理方式：比如：字符串工具解析、正则表达式等，但是上面这些成本巨大，因此需要一款专门解析html页面的技术。因此就可以使用Jsoup来实现。 2.Jsoup简介 jsoup是一款java的HTML解析器， ...
分类：
Web程序 时间：
2020-06-13 21:27:06
阅读次数：
75
说明：Mac电脑和Windows电脑的安装方式一样，只是针对不同的电脑系统，存放证书的目录文件不一样罢了 1、需要电脑上安装证书 如下图 注：查找证书的目录：chrome 》.... 》设置 》搜索框输入“管理证书： 》更多 》点击管理证书即可进入到证书页面 注：安装的证书是未授权的，则双击证书，选 ...
分类：
Web程序 时间：
2020-06-13 21:21:25
阅读次数：
84
1、什么是scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取。Scrapy 使用了Twisted['tw?st?d]异步网络框架 文档地址：https://scrapy-chs.readthedocs.io/zh_CN/1.0 ...
分类：
其他好文 时间：
2020-06-13 21:00:14
阅读次数：
48
在工作中我们常会用到wireshark抓取数据包进行分析，当使用wireshark默认设置时，会捕获到大量冗余的数据包，如果没有过滤器过滤，我们很难找到自己想要抓取的数据，这个时候就需要用到wireshark的过滤器来过滤，它们可以帮助我们在庞杂的结果中迅速找到我们需要的信息。 wireshark提 ...
分类：
其他好文 时间：
2020-06-13 11:06:06
阅读次数：
87
首先了解一下什么是爬虫 1.爬虫的定义 爬虫：网络爬虫：（web crawer）,是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本 2.通过一个简单的实例先进行一个体验，更直观的了解一下爬虫的厉害之处 代码编写的环境： 1.JDK1.8 2.idea 3.maven 下面就是简单爬虫的测试类 ...
分类：
其他好文 时间：
2020-06-13 00:52:01
阅读次数：
61
最近因为客户端与服务端http通信出现疑似丢包的情况，而且客户端PC端没问题，而安卓机客户端必现，所以想到了抓包。 最开始是用fiddler代理来抓，但是可能是因为设置还是过滤的问题，安卓机经过fiddler代理的数据始终没有包含我们app的http数据包，只抓到了自带浏览器、以及我们app的sdk ...
分类：
移动开发 时间：
2020-06-12 21:48:53
阅读次数：
84
1.机器OTA升级 adb push update.zip(OTA升级包) /sdcard/机器上安装的路径 eg：adb push update.zip /sdcard/ota/download/update.zip(该update.zip可以任意取名) 2.OPK升级 先安装apk文件：adb ...
分类：
数据库 时间：
2020-06-12 20:00:57
阅读次数：
71
PHP的curl功能十分强大，简单点说，就是一个PHP实现浏览器的基础。 最常用的可能就是抓取远程数据或者向远程POST数据。但是在这个过程中，调试时，可能会有查看header的必要。 echo get('http://www.baidu.com');exit; function get($url) ...
分类：
Web程序 时间：
2020-06-11 19:50:39
阅读次数：
67
1、选中项目->vcs->Import into version Control->Create git respository 2、给项目设置远程远程仓库 git remote add origin http://git.oschina.net/***/***.git 3、抓取远程仓库数据，并自动 ...
分类：
其他好文 时间：
2020-06-11 17:00:49
阅读次数：
56
一劳永逸的搞定 flex 布局 寻根溯源话布局 一切都始于这样一个问题：怎样通过 CSS 简单而优雅的实现水平、垂直同时居中。记得刚开始学习 CSS 的时候，看到 float 属性不由得感觉眼前一亮，顺理成章的联想到 Word 文档排版中用到的的左对齐、右对齐和居中对齐，然而很快就失望的发现 CSS ...
分类：
Web程序 时间：
2020-06-10 11:25:56
阅读次数：
85
