本文介绍一个简单的多线程并发爬虫,这里说的简单是指爬取的数据规模不大,单机运行,并且不使用数据库,但保证多线程下的数据的一致性,并且能让爬得正起劲的爬虫停下来,而且能保存爬取状态以备下次继续。
爬虫实现的步骤基本如下:分析网页结构,选取自己感兴趣的部分;建立两个Buffer,一个用于保存已经访问.....
分类:
编程语言 时间:
2014-05-26 13:13:56
阅读次数:
318
FORMdown_load_file_excelUSINGi_dataout2.*datagt_file_vat_exceltypeSTANDARDTABLEOF.*StartingdownloadDATA:l_lcobj_excelTYPEole2_object,l_lcobj_workbookT...
分类:
其他好文 时间:
2014-05-26 13:10:06
阅读次数:
322
FREENAMEfree显示系统可用内存和已使用内存语法free [-b | -k | -m]
[-o] [-s delay ] [-t] [-l] [-V]描述free显示了总可用和被用的物理内存和swap内存,也包括内核使用的buffer,shared
memory已经被废弃选项[-b | -k...
分类:
系统相关 时间:
2014-05-26 11:29:08
阅读次数:
326
// %p &testStr 是object自身的内存地址// %p testStr
是指向的内存地址 // block本质是对象,访问外部变量当成自己的成员变量//
block内有一个新的引用,指向原对象所指向的内存地址对于对象:@autoreleasepool { NSMutab...
分类:
其他好文 时间:
2014-05-26 11:19:24
阅读次数:
275
instanceof是Java的一个二元操作符,和==,>,<是同一类东东。由于它是由字母组成的,所以也是Java的保留关键字。它的作用是测试它左边的对象是否是它右边的类的实例,返回boolean类型的数据。举个例子:
String s = "I AM an Object!"; boolean .....
分类:
其他好文 时间:
2014-05-26 10:49:45
阅读次数:
245
吐槽下,维护别人之前做的项目好蛋疼,整个页面都是用微软的ajax框架。今天给repeater用JS写一个hover事件结果
repeater翻到第二页后,效果失效了,也就是JS没了。这个时候,就在 protected void
AspNetPager3_PageChanged(object s...
分类:
Web程序 时间:
2014-05-26 09:15:39
阅读次数:
313
在做web开发中可能会遇到flash遮挡页面中元素的情况,无论怎么设置flash容器和层的深度(z-index)也无济于事,现有的解决方案是在插入flash的embed或object标签中加入”wmode”属性并设置为wmode=“transparent”或”opaque”,但wmode属性到底是什...
分类:
其他好文 时间:
2014-05-26 08:47:52
阅读次数:
196
1.上传 1 private void Button_Click_1(object sender,
RoutedEventArgs e) 2 { 3 OpenFileDialog openFileDialog = new OpenFileDialog()
4...
分类:
Web程序 时间:
2014-05-26 08:28:56
阅读次数:
430
--获取所有数据 根据自定义函数传人类型id返回类型名称USE [Cloths]GO/******
Object: StoredProcedure [dbo].[Proc_all] Script Date: 05/23/2014 12:10:37
******/SET ANSI_NULLS ...
分类:
数据库 时间:
2014-05-26 07:58:41
阅读次数:
379
在java中,可以通过socket将一个对象进行传递,通过ObjectOutputStream,ObjectInputStream来进行写入和读取(具体的方法参考http://blog.csdn.net/zyujie/article/details/8243742),但在传递时需要注意以下两点...
分类:
编程语言 时间:
2014-05-24 09:16:10
阅读次数:
215