码迷,mamicode.com
首页 >  
搜索关键字:抓取    ( 5747个结果
优化设置PHPCMS V9的URL规则
默认情况下,phpcms v9的文章URL路径是动态的,如 http://localhost/phpcms/index.php?m=content&c=index&a=show&catid=6&id=1 现在我要把前面那一大堆URL字符优化成简短且相对易于被搜索引擎抓取URL: http://localhost/phpcms/news/1.html 可以分三个步骤去实现: 自定义...
分类:Web程序   时间:2014-09-16 19:01:10    阅读次数:257
【淘宝数据干货】我用数据告诉你互联网安全套行业是什么样的?【不看后悔!!!】
最近互联网思维这个词很火,各种产品被包装成了高大上,然后一群神棍把小白们忽悠的昏天黑地。到处都是小米,黄太吉,马佳佳,雕爷牛腩的成功案例。但是今天,我的文章与互联网思维没有半毛线关系,前面也都是废话。我用最真实最新鲜热乎的数据来告诉你,真正的互联网安全套行业是什么样的。 ======华丽的分割线=========== 数据来源:通过爬虫技术对主流的套套平台的公开页面进行大量的数据抓取。 数据...
分类:其他好文   时间:2014-09-16 10:51:35    阅读次数:445
Jsoup总结
最近使用了Jsoup,感觉还是挺简单,挺方便的,轻而易举地使用java像jQuery一样操作html节点,轻松抓取网页源码,分析获取各个标签所需的东西。 对于采集网页类具有相当方便的作用 具体可看下面各个相关例子: Jsoup下载地址: http://jsoup.org/download jsoup开发指南,jsoup中文使用手册,jsoup中文文档: ht...
分类:Web程序   时间:2014-09-16 10:50:20    阅读次数:208
Wireshark技巧-过滤规则和显示规则
Wireshark是一个强大的网络协议分析软件,最重要的它是免费软件。 过滤规则 只抓取符合条件的包,在Wireshark通过winpacp抓包时可以过滤掉不符合条件的包,提高我们的分析效率。 如果要填写过滤规则,在菜单栏找到capture->options,弹出下面对话框,在capture fil...
分类:其他好文   时间:2014-09-15 22:49:39    阅读次数:377
Android走wifi代理
1.测试apk一般可以通过wifi设置代理,从而使用Charles抓取http请求2.发布版本的apk通过代码控制,http请求不再走wifi代理 1 if (type == ConnectivityManager.TYPE_WIFI) { 2 ...
分类:移动开发   时间:2014-09-15 14:13:48    阅读次数:394
Jsoup总结
最近使用了Jsoup,感觉还是挺简单,挺方便的,轻而易举地使用java像jQuery一样操作html节点,轻松抓取网页源码,分析获取各个标签所需的东西。 对于采集网页类具有相当方便的作用 具体可看下面各个相关例子: Jsoup下载地址: http://jsoup.org/download jsoup开发指南,jsoup中文使用手册,jsoup中文文档: ht...
分类:Web程序   时间:2014-09-15 10:08:08    阅读次数:220
百度UEditor编辑器关闭抓取远程图片功能(默认开启)
这个坑娘的功能,开始时居然不知道如何触发,以为有个按钮,点击一下触发,翻阅了文档,没有发现,然后再网络上看到原来是复制粘贴非白名单内的图片到编辑框时触发,坑娘啊............... 问题又来了:今天在写百...
分类:其他好文   时间:2014-09-13 16:00:05    阅读次数:208
grep命令和curl命令的使用方法
今天看了汪海写的python爬虫教程,说实话看不懂。。。于是就用bash下的工具自己开始写了一个抓取糗事百科的糗事的脚本,期间搜索到了grep和curl命令的一些使用技巧。grep命令,使用grep命令来进行文本的通配,一般只是显示匹配的行,但是使用以下几个参数就可以显示上下文了:-C [num] ...
分类:其他好文   时间:2014-09-12 23:19:24    阅读次数:665
用python实现的抓取腾讯视频所有电影的爬虫
1. [代码]用python实现的抓取腾讯视频所有电影的爬虫 # -*- coding: utf-8 -*-# by awakenjoys. my site: www.dianying.atimport reimport urllib2from bs4 import BeautifulSoupim....
分类:编程语言   时间:2014-09-12 17:01:43    阅读次数:422
小米手机抓取Log教程
当小米手机遇到任何系统下的较为严重的故障时(即此时系统还是基本正常运行的,只是某些功能实现出了问题),例如软件自动退出,SD卡自动卸载,电话无法拨出等等。可以请用户协助抓取log即系统运行日志,来发送到kefu@xiaomi.com,或者在论坛售后区发帖。我们再进一步转发给相应的工程师去根据log分...
分类:移动开发   时间:2014-09-12 16:47:53    阅读次数:447
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!