欢迎访问PlayScala社区,转载请注明沐风(joymufeng) 在我们使用Java调用远程接口或是抓取数据时经常会发生以下错误: 这个错误表明Java虚拟机在请求远程HTTPS服务器时无法验证证书的有效性,由于担心HTTPS中间人劫持,所以抛出错误警告调用者。可是奇怪的是这个HTTPS链接在浏 ...
分类:
编程语言 时间:
2017-09-08 11:58:58
阅读次数:
194
我们先来看看京东的效果 分析 上端导航栏可以放置多个分类,可滑动 点击导航栏最右端按钮可以查看所有分类,同时背景模糊 内容部分右拉跳转到另外的分类 点击分类时导航栏的滑动部分自动滑动到合适的位置 我的实现 代码展示: js /** * categoryView.js - 分类页面 */ var fa ...
分类:
微信 时间:
2017-09-01 23:08:33
阅读次数:
444
Scrapy抓取数据输出到CSV文件,使其按照items.py中定义的字段的顺序排列输出。 ...
分类:
其他好文 时间:
2017-08-20 00:48:06
阅读次数:
203
这次的QQ登录我研究了好久惹,今天终于可以和大家分享啦! 大家都知道,QQ登录有很多方法,例如使用账号密码登录,手机版企鹅扫码登录等等(这些方法只能验证QQ是否成功登录,并没有聊天等功能) 首先就来使用账号密码登录吧(略简单) 一、准备工作 我们需要一只WebBrowser和登录API http:/ ...
近期在做一个网络爬虫程序。后台使用python不定时去抓取数据。前台使用php进行展示 站点是:http://se.dianfenxiang.com 近期在做一个网络爬虫程序。后台使用python不定时去抓取数据。前台使用php进行展示 站点是:http://se.dianfenxiang.com ...
分类:
编程语言 时间:
2017-08-06 10:44:05
阅读次数:
145
手机数据抓包的N种方法 手机数据抓包的N种方法 - xia_xia的博客 - 博客频道 - CSDN.NEThttp://blog.csdn.net/xia_xia0919/article/details/50606137 手机如何抓取数据包和fiddler使用方法_百度经验http://jingy ...
分类:
移动开发 时间:
2017-07-29 01:00:02
阅读次数:
170
在程序运行过程中,总会遇到各种各样的错误。有的错误是程序编写有问题造成的,比如本来应该输出整数,输出了字符串,这种错误我们称为bug,bug是必须修复的。有的错误是用户输入造成的,比如让用户输入email地址,结果得到一个空字符串,这种错误可以通过检查用户输入来做相应的处理。还有一类错误是无法在程序 ...
分类:
其他好文 时间:
2017-07-27 11:34:41
阅读次数:
142
'''从web抓取数据:webbrowser:是python自带的,打开浏览器获取指定页面.requests:从因特网上下载文件和网页.Beautiful Soup:解析HTML,即网页编写的格式.selenium:启动并控制一个Web浏览器.selenium能够填写表单,并模拟鼠标在这个浏览器中点 ...
分类:
编程语言 时间:
2017-07-26 22:06:33
阅读次数:
282
装载:http://www.cnblogs.com/jcchoiling/p/6431969.html 引言 Spark HashShuffle 是它以前的版本,现在1.6x 版本默应是 Sort-Based Shuffle,那为什么要讲 HashShuffle 呢,因为有分布式就一定会有 Shuf ...
分类:
其他好文 时间:
2017-07-26 12:34:06
阅读次数:
173
今天在用python实现爬虫的时候,就想看一下用c#实现同样的功能到底会多出来多少code,结果写着写着干脆把页面也简单的写一个出来,方便调试, 大致流程如下: 1.分析拉勾数据 2.查找拉勾做了哪些反爬虫限制 3.抓取数据,show page 过程中用到一个HtmlAgilityPack第三方库, ...
分类:
其他好文 时间:
2017-07-15 18:55:11
阅读次数:
223