码迷,mamicode.com
首页 >  
搜索关键字:抓取    ( 5747个结果
cursor: pin S产生原理及解决方法
转自:http://www.dbafree.net/?p=778今天晚上在一个比较重要的库上,CPU严重的冲了一下,导致DB响应变慢,大量应用连接timeout,紧接着LISTENER就挂了,连接数也满了等一连串问题。我们的监控抓取了当时系统的等待事件,ACTIVE SQL及SESSION_WAIT...
分类:其他好文   时间:2014-07-22 22:53:13    阅读次数:304
python实现爬虫(一)--- Scrapy框架抓取豆瓣书籍信息
Scrapy是一个用python实现都爬虫框架,简单易用,功能强大,只需要在框架的基础上自定义自己的分析规则即可,具体如何新建工程等待都在官方文档上面讲解得非常清楚,官方文档tutorial(http://doc.scrapy.org/en/latest/intro/tutorial.html).....
分类:编程语言   时间:2014-07-22 22:50:15    阅读次数:307
上周热点回顾(7.14-7.20)
热点随笔:·感恩回馈,《ASP.NET Web API 2框架揭秘》免费赠送(Artech)·异步编程 In .NET(Jesse Liu)·抓取网站访问者的QQ号码(小尾尾)·数据库SQL优化大总结之 百万级数据库优化方案(雲霏霏)·如何识别一个字符串是否Json格式(路过秋天)·开源项目1:某大...
分类:其他好文   时间:2014-07-22 00:38:35    阅读次数:258
hibernate的数据关联映射
数据关联映射分为:一对多、多对一,一对一,多对多。cascade属性?save-update:在执行保存和修改是进行级联操作?delete:在执行删除时进行级联操作?all:在所有情况下进行级联操作?none:不进行级联操作(默认)抓取策略一对多、多对一一对多、多对一持久化类设计// User类pu...
分类:系统相关   时间:2014-07-22 00:36:35    阅读次数:282
MySQL事务概述
为了防止无良网站的爬虫抓取文章,特此标识,转载请注明文章出处。LaplaceDemon/SJQ。http://www.cnblogs.com/shijiaqi1066/p/3858050.html1 事务(Transaction)概述1.1 数据库事务的四个特性:ACID原子性(Atomicity)...
分类:数据库   时间:2014-07-22 00:31:37    阅读次数:297
Android平台上抓包
经常会有一些测试需求比如:测试手机上某个app的网络通信是否已经加密,或者测试某个app是否偷偷链接某些网站。 根据抓包的对象,主要有两种途径: 1. 在路由器端抓包:使用一台已经连入路由器的PC来抓取路由器上...
分类:移动开发   时间:2014-07-21 10:24:53    阅读次数:293
curl只能抓取页面的部分内容的原因
核心提示:先列出 HessianPHP 的错误提示: CURL transport error: transfer closed with outstanding read data remaining 基础知识背景: 1)“Expect: 100-continue”的来龙去脉: HTTP/1.1 协议里设计100 (Co...
分类:其他好文   时间:2014-07-21 10:17:53    阅读次数:226
数据采集类
爬虫,又称蜘蛛,是从别的网站抓取资源的一种方法,C#.NET使用爬虫的方法如下:protected string GetPageHtml(string url){string pageinfo;try{WebRequest myreq = WebRequest.Create(url);WebResp...
分类:其他好文   时间:2014-07-19 18:15:25    阅读次数:180
抓取scrapy中文文档 第一个Scrapy项目实现
使用Scrapy这个python的网络爬虫框架抓取Scrapy中文文档开发第一步:新建项目scrapy startproject myfirst目录结构:myfirst│ scrapy.cfg Scrapy项目配置文件│└─myfirst Scrapy项目代码存放目...
分类:其他好文   时间:2014-07-19 16:00:43    阅读次数:207
小巧抓取(省、市(区号\邮编)、县)数据
最近项目做《收递系统》需要到 城市的地址信息,但从网上下载的xml数据没有几个是最新的地址信息.....数据太老,导致有些地区不全。所以才想到天气预报官网特定有最新最全的数据。贴出代码,希望能给有同样困惑的朋友,减少一些时间。 /** * @param var 城市名称 * @return string数组,0表示邮编 1表示区号 */ @SuppressWarnings("d...
分类:其他好文   时间:2014-07-19 02:24:15    阅读次数:205
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!