1，引言最近一直在看Scrapy爬虫框架，并尝试使用Scrapy框架写一个可以实现网页信息采集的简单的小程序。尝试过程中遇到了很多小问题，希望大家多多指教。本文主要介绍如何使用Scrapy结合PhantomJS采集天猫商品内容，文中自定义了一个DOWNLOADER_MIDDLEWARES，用来采集需要加载j..
分类：
编程语言 时间：
2016-07-07 14:36:43
阅读次数：
598
DNS:域名解析：BIND:BerkeleyInternetNameDomainL:DNS：DomainNameService域名：www.baidu.com（主机名，FQDN:FullQualifiedDomainName,完全限定域名）DNS:名称解析：NAMEResolving名称转换（背后有查询过程，数据库）FQDN---------------------------IPwww.baidu.com180.97.33..
分类：
其他好文 时间：
2016-07-07 14:29:09
阅读次数：
123
在使用过程有时要在listview中插入不同类型的数据，比如说position＝0的位置插入，广告，其它列表显示数据的情况。 一定要重写两种方法 否则列表在复用convertview时会出错，无法精准复用，造成控件空指针异常。 Google了一下： http://stackoverflow.com/ ...
分类：
移动开发 时间：
2016-07-07 14:25:31
阅读次数：
171
我看到了网上流传的多个《Java面试题大全》，认真的阅读了以后发现里面的很多题目是重复且无用的，而且还有很多的参考答案是错误的，于是我花了一个月时间对这个所谓的《Java面试大全》进行了整理修改，在整理过程中，参照了当时JDK最新版本（Java 8）给出了题目的答案和相关代码，去掉了EJB 2.x、JSF等无用内容或过时内容，补充了数据结构和算法、大型网站技术架构、设计模式、UML、Spring ，...
分类：
编程语言 时间：
2016-07-07 13:12:13
阅读次数：
442
在Sortable公司，很多数据处理的工作都是使用Spark完成的。在使用Spark的过程中他们发现了一个能够提高Sparkjob性能的一个技巧，也就是修改数据的分区数，本文将举个例子并详细地介绍如何做到的。 查找质数 比如我们需要从2到2000000之间寻找所有的质数。我们很自然地会想到先找到所有 ...
分类：
其他好文 时间：
2016-07-07 13:04:48
阅读次数：
233
本文转自：http://www.cnblogs.com/gsk99/archive/2011/08/28/2155988.html 以下是PetShop中DBHelper中的使用过程：//创建哈希表 Hashtable to store cached parametersprivate static ...
分类：
Web程序 时间：
2016-07-07 13:02:38
阅读次数：
201
使用了开源的特征库(需要存放到手机sd卡根目录下)；在摄像机预览状态下获取扫描手机号框框区域内的图片bitmap对象，交给开源代码识别数字，识别出来的数字进入手机号的正则表达式匹配 在识别手机号的过程中，为了增加识别率：可以参照的文章有：http://www.oschina.net/code/sni ...
分类：
移动开发 时间：
2016-07-07 13:02:38
阅读次数：
221
假设有存储过程：proc_test2 create proc proc_test2 @Id int begin as declare @sql varchar(max) @sql = 'select * from test2 where 1=1' if @Id <> 0 set @sql += ' ...
分类：
数据库 时间：
2016-07-07 12:55:54
阅读次数：
195
在使用 Navicat Premium 编辑SQL的过程中为防止程序意外崩溃，已经将编辑的SQL都已经备份。 备份存放目录地址：C:\Users\{登录用户名}\Documents\Navicat\MySQL\servers\{MySQL连接名称}\{数据库名称} 如图： SQL未保存，手动关闭链接 ...
分类：
数据库 时间：
2016-07-07 12:45:06
阅读次数：
667
1.GsonFormat 快速将json字符串转换成一个Java Bean，免去我们根据json字符串手写对应Java Bean的过程。 使用方法：快捷键Alt+S也可以使用Alt+Insert选择GsonFormat 2.Android ButterKnife Zelezny 配合ButterKn ...
分类：
移动开发 时间：
2016-07-07 12:39:17
阅读次数：
444
