码迷,mamicode.com
首页 >  
搜索关键字:抓取数据    ( 386个结果
git 基础
在工作目录中初始化新仓库从现有仓库克隆检查当前文件状态跟踪新文件暂存已修改文件忽略某些文件查看已暂存和未暂存的更新提交更新跳过使用暂存区域移除文件移动文件限制输出长度使用图形化工具查阅提交历史修改最后一次提交取消已经暂存的文件取消对文件的修改查看当前的远程库添加远程仓库从远程仓库抓取数据推送数据到远...
分类:其他好文   时间:2015-03-31 14:39:59    阅读次数:141
从网页抓取数据的一般方法
首先要了解对方网页的执行机制,这能够用httpwacth或者httplook来看一下http发送和接收的数据。这两个工具应该说是比較简单易懂的。这里就不再介绍了。主要关注的内容是header和post的内容。通常会包括cookie,Referer页面和其它一些乱其八糟可能看不懂的变量,还有就是正常交...
分类:Web程序   时间:2015-03-15 19:35:31    阅读次数:113
jsoup使用样式class抓取数据时空格的处理
正确方法可以用doc.getElementsByAttributeValue(属性名, 属性值),因为class也可以看成特殊的属性,所以可以这样写doc.getElementsByAttributeValue("class" , "填写class对应的值")。[亲测好使]...
分类:Web程序   时间:2015-03-07 21:24:30    阅读次数:225
jsoup使用样式class抓取数据时空格的处理
最近在研究用android和jsoup抓取小说数据,jsoup的使用可以参照http://www.open-open.com/jsoup/;在抓纵横中文网永生这本书的目录内容时碰到了问题, 永生的书简介url?http://book.zongheng.com/book/48552.htm...
分类:Web程序   时间:2015-03-07 18:51:18    阅读次数:145
linux下 Soft AP几种方法(用于钓鱼)
airbase-ngHostAPdbridgeNATairssl.sh数据全部走本机抓包即可抓取数据DNS可控那么可以做DNS代理之后插入JS来获取密码偷cookie等。
分类:系统相关   时间:2015-03-04 06:24:22    阅读次数:171
使用BeautifulSoup抓取
年前有个坑爹的需求来了,要把某点评网商户数据都给获取下来存储于数据库,好啦其实这个东西是蛮简单的;首先到点评网把城市数据给拷贝下来,当然你也可以写个脚本把数据抓取下来,不够我没这么干;好了下面是用于抓取数据的脚本,下面我分享下给大家:城市列表:alashan|57|阿拉善anshan|58|鞍山an...
分类:其他好文   时间:2015-02-16 00:21:42    阅读次数:880
Hibernate二级缓存以及ehcache的搭建配置
Session级别的以及缓存总是有效的,当应用保持持久化实体、修改持久化实体时,Session并不会吧这种改变flush到数据库,而是缓存在当前Session的一级缓存中,除非程序显示调用session的flush方法,或者查询关闭session时,才会把这先改变一次性的flush到底层数据库,这样可以减少与数据库的交互,从而提高数据库的访问性能。 SessionFactory级别的二级缓存是全局的,应用的所有的Seeion都共享这个二级缓存,当Session需要抓取数据时,Session就会优...
分类:Web程序   时间:2015-02-07 21:45:29    阅读次数:175
python抓取天气
python抓取数据...
分类:编程语言   时间:2015-01-30 22:50:00    阅读次数:202
HtmlUnit模仿浏览器抓取数据(含ajax)
import java.io.IOException; import java.net.MalformedURLException; import com.gargoylesoftware.htmlunit.BrowserVersion; import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException; import com...
分类:Web程序   时间:2015-01-27 16:25:36    阅读次数:216
记一次简单的网页数据抓取
之前有一个工作是到服务器上去复制一串文字下来,很简单的操作,但是需要重复50次左右,每次花费大概三分钟,一遍下来两个多小时就进去了。因此就做了这个工具自动抓取数据。工具主要做三件事情:登陆,下载,截取。登陆部分由于服务器使用的是windows安全校验,如图:需要模拟登陆才能获取到网页数据。首先用fi...
分类:Web程序   时间:2015-01-27 11:01:15    阅读次数:274
386条   上一页 1 ... 31 32 33 34 35 ... 39 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!