微软在上周刚刚发布了用于Windows 8.1上的首个Internet Explorer 11的预览版。我们已经确认Internet Explorer 11中的一些新特性，包括对WebGL的支持、预抓取、预渲染、flexbox、mutation observers以及其他一些Web标准的支持。但是更...
分类：
其他好文 时间：
2014-08-26 00:08:25
阅读次数：
230
现象：最近做的一个系统通过单点登录(SSO) 技术验证用户登录。用户在SSO 系统上通过验证后，跳转到该系统的不同模块。而跳转的时间一直维持子啊几分钟左右。分析步骤：在问题复现时抓取Hang dump 进行分析：1) 找到用户登陆的调用堆栈0:071> kbRetAddr : Args to Chi...
分类：
其他好文 时间：
2014-08-25 22:40:14
阅读次数：
402
最近在做城觅网的信息抓取，发现城觅网上海与北京的url是一样的。那怎样才确定信息的来源呢？折腾了半天，才发现城觅网是使用cookie的，如果你把网站的cookie禁用了，就无法在上海与北京之间切换了。于是便想到了请求时将cookie带上。方法如下：第一步，拿到上海或者北京的cookieMap coo...
分类：
Web程序 时间：
2014-08-25 20:47:24
阅读次数：
247
之前做Web项目的时候，经常会使用Fiddler（Windows下）、Charles Proxy（Mac下）来抓包，调试一些东西；现在搞Android App开发，有时候也需要分析手机App的网络请求，包括参数、返回值等。在Mac上也是可以继续使用Charles Proxy来抓Android App...
分类：
移动开发 时间：
2014-08-25 18:29:04
阅读次数：
185
各类 HTTP 返回状态代码详解 如果某项请求发送到您的服务器要求显示您网站上的某个网页（例如，用户通过浏览器访问您的网页或 Googlebot 抓取网页时），服务器将会返回 HTTP 状态代码以响应请求。 此状态代码提供...
分类：
其他好文 时间：
2014-08-25 15:14:54
阅读次数：
176
其实抓ajax异步内容的页面和抓普通的页面区别不大。ajax只不过是做了一次异步的http请求，只要使用firebug类似的工具，找到请求的后端服务url和传值的参数，然后对该url传递参数进行抓取即可。利用Firebug的网络工具 如果抓去的是页面，则内容中没有显示的数据，是一堆JS代码。Code...
分类：
Web程序 时间：
2014-08-24 23:37:43
阅读次数：
283
做网络数据抓取，添加下面代码。同样的数据，分析需要14秒local_tv_sec = header->ts.tv_sec; ltime=localtime(&local_tv_sec); strftime( timestr, sizeof timestr, "%H:%M:%S", ltime);.....
分类：
其他好文 时间：
2014-08-22 17:40:49
阅读次数：
376
/// 方法一：比较推荐 /// 用HttpWebRequest取得网页源码 /// 对于带BOM的网页很有效，不管是什么编码都能正确识别 /// /// 网页地址" /// 返回网页源文件 publ...
分类：
Web程序 时间：
2014-08-22 16:13:29
阅读次数：
197
今天我们看看Nutch网页抓取，所用的几种数据结构：主要涉及到了这几个类：FetchListEntry，Page，首先我们看看FetchListEntry类：public final class FetchListEntry implements Writable, Cloneable实现了Writ...
分类：
Web程序 时间：
2014-08-22 15:59:58
阅读次数：
242
