抓取xml文件的工作就不多说了，很简单的事，只要在播放页面看看源文件就能确定xml文件的地址进行抓取了。 本文主要是讲述xml内的弹幕转字幕的过程。 除去xml文件开头结尾的一些七七八八的东西，弹幕主体是这样的：...
分类：
其他好文 时间：
2014-09-02 03:47:44
阅读次数：
2150
1.数据库在企业内部都是在区域网，而区域网都是内网，而外网如果要抓取内网的数据，一般要么开放内网数据库的IP要么不开发，实际都是不开发，因此我们都是做一个内外网数据传输的服务，也就是做一个传输软件。2.一个抓取内网数据库数据，转换成文件，传输到外网，外网接收。一般都是通时间窗口以及定时调度机制运行。...
分类：
其他好文 时间：
2014-09-02 03:45:44
阅读次数：
227
CNAME记录是域名指向另一个域名A记录是域名指向IP地址URL跳转是打开这个网址的时候会跳转到另一个指定的网址，URL跳转分为301永久重定向和302临时重定向。301永久重定向会使搜索引擎抓取新的内容时使用重定向后的新地址，而302临时重定向会使搜索引擎抓取新内容时保留重定向前的旧地址。都是使一...
分类：
其他好文 时间：
2014-09-02 00:09:33
阅读次数：
522
作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！上一讲介绍了用WebView来抓取一个网页内容。这一讲我将介绍如何在安卓内部直接进行HTTP通信。《亚当的诞生》，西斯廷礼拜堂的吊顶画，米开朗基罗之作。当时的教皇强迫沉迷于雕塑的米开朗...
分类：
移动开发 时间：
2014-09-01 06:03:32
阅读次数：
310
最近在学习《机器学习实战》这本书，在学习的过程中不免要自己去实践，写些练习。这写练习的第一步就需要收集数据，所以为了写好自己的练习程序，我得先学会收集一些网络数据。了解到用python抓取网页数据的一些方法后，我就根据别人的demo，自己实践了一下，学着从百度彩票网站上抓取双色球的历史数据。以下.....
分类：
编程语言 时间：
2014-08-31 17:04:01
阅读次数：
664
网络爬虫架构在Nutch+Hadoop之上，是一个典型的分布式离线批量处理架构，有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取，所以，需要一个分布式搜索引擎，用来对网络...
分类：
其他好文 时间：
2014-08-30 23:13:50
阅读次数：
434
整理了下抓取页面的一些函数方便以后使用 //抓取页面function getcontents($url) { $ch = curl_init(); $timeout = 5; curl_setopt($ch, CURLOPT_URL, $url); curl_setop...
分类：
Web程序 时间：
2014-08-30 20:17:39
阅读次数：
244
最近由于公司的自动化测试工具需要将测试结果导出到excel中，奈何没有学SSH，导致无法在工具本身中添加（工具是开发做的），故转而使用python爬虫来做，开发过程中遇到了一个问题： 由于测试结果太多，需要翻页，而翻页时网址没有变化，这就导致抓取的时候没法依照网址去爬，遂去网上查找解决方法，最后找....
分类：
编程语言 时间：
2014-08-30 11:07:39
阅读次数：
4116
用httplook、sniffer等工具对浏览器动作进行抓取，如路由配置界面信息。然后实现使用curl命令在命令行中模拟浏览器动作。从而实现通过命令行的方式对路由进行配置的过程！如果需要动态自动访问某网页页面或者路由配置页面等，可用该方法，甚至可以通过其他程序编程实现更为智能复杂的访问配置行为！...
分类：
其他好文 时间：
2014-08-29 09:29:47
阅读次数：
341
内存工具从内存中抓取SWF一般是依靠寻找SWF的前7个字节（3个SWF文件必有的标示字节“FWS”或“CWS”或“ZWS”+4个记录该SWF文件长度的字节），所以避免被提取我们只要在加载SWF到内存后，修改这头7个字节即可（SWF加载后修改这几个字节不影响SWF的运行）。那么SWF在内存中的字节在哪...
分类：
其他好文 时间：
2014-08-28 19:36:06
阅读次数：
172
