“一起去爬山吧？” 这句台词火爆了整个朋友圈，没错，就是来自最近热门的《隐秘的角落》，豆瓣评分8.9分，好评不断。 永恒君趁着端午的假期也赶紧刷完了这部剧，感觉还是蛮不错的。同时，为了想更进一步了解一下小伙伴观剧的情况，永恒君抓取了爱奇艺平台评论数据并进行了分析。下面来做个分享，给大伙参考参考。 # ...
分类：
编程语言 时间：
2020-06-29 22:49:22
阅读次数：
100
""" 抓取 解析 存储 """ import re #import ast from urllib import parse from datetime import datetime import requests from scrapy import Selector from models ...
分类：
其他好文 时间：
2020-06-29 18:51:16
阅读次数：
98
静态网页 抓取实例： import requests from bs4 import BeautifulSoup def gettop250(): headers={ 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKi ...
分类：
Web程序 时间：
2020-06-29 13:27:33
阅读次数：
45
大前提：手机和电脑用的是同一个网络 1、电脑端 fidder配置 Tools->options->https 2、手机端网络中，设置 代理配置， 手动 3、手机端下载证书 打开手机浏览器输入：http://10.51.4.8:8888 ，这个中间的host地址就是前面查到的fidder所在电脑的地址 ...
分类：
移动开发 时间：
2020-06-29 11:40:21
阅读次数：
67
因公司需要..个个地区的邮编..一个个去搜显然是很麻烦的很耗时间、体力... （不想偷懒的程序猿，不是好程序猿，23333，开玩笑滴） 技术栈：Java + Jsoup 开发工具：idea 抓取的目标网址： https://post.8684.cn 抓取的数据如下（部分地区没有邮编）： 辽宁省: 大 ...
分类：
编程语言 时间：
2020-06-29 11:33:16
阅读次数：
63
1、初始化，该命令将创建一个名为 .git 的子目录，这个子目录含有你初始化的 Git 仓库中所有的必须文件，这些文件是 Git 仓库的骨干。 git init 2、克隆现有的仓库 git clone https://github.com/libgit2/libgit2 3、检查当前文件状态 git ...
分类：
其他好文 时间：
2020-06-28 15:08:20
阅读次数：
66
一. 捕获及停止条件 -D:列举所有网卡设备 -i:选择网卡设备 -c:抓取多少条报文 -s:指定每条报文的最大字节数，默认262144字节 --time-stamp-precision:指定捕获时的时间精度，默认毫秒micro,可选nano ...
分类：
其他好文 时间：
2020-06-27 09:19:20
阅读次数：
75
1、简单的抓取网页 from urllib import requestreq=request.Request("http://www.baidu.com")response=request.urlopen(req)html=response.read()html=html.decode("utf- ...
分类：
编程语言 时间：
2020-06-26 21:59:22
阅读次数：
62
1、hive的企业级调优 1.1 Fetch抓取（鸡肋） Fetch抓取是指，==Hive中对某些情况的查询可以不必使用MapReduce计算== 例如：select * from employee; 在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制 ...
分类：
其他好文 时间：
2020-06-26 18:44:35
阅读次数：
56
常规操作，设置代理准备抓包，启动APP进行登录，对抓取到的包进行分析，最好抓2次进行对比，分析哪些参数的数据有变化： 将APP进行反编译，我用的jeb，通过搜索关键字"nonceStr"定位到代码块： 参数和抓取到的数据包都对的上，应该就是这里了。 通过分析得知this.pwdMD5 = MD5.m ...
分类：
移动开发 时间：
2020-06-26 14:38:26
阅读次数：
108
