参照着网上的爬虫案例（点我），先做了一个demo，基本的爬虫项目创建，以及数据抽取，数据分析，数据保存等等过程基本上有所掌握。
我的需求是需要检索指定的百度贴吧，根据指定的关键字库，搜索出含有关键字的链接，并抽取出来，用于后续告警。 因此，基于需求，分如下步骤：
第一：基于Scrapy创建爬虫项目；...
分类：
编程语言 时间：
2014-04-28 17:37:30
阅读次数：
707
在这里，我对于项目提出功能导航系统。即为每个导航地点分组，按功能属性统计并罗列在一起，在导航页面提供目的性查询，让客户通过勾选想要进行的活动来提供目的地和导航路线。并将各地点在功能搜索页面罗列出来并给出具体坐标。如：餐饮，上课，运动，购物，出行，标志建筑，专业分属等Need：需求方面，直接从导航的....
分类：
其他好文 时间：
2014-04-28 16:58:15
阅读次数：
595
oracle对于子查询的支持做的很好，oracle optimizer会对inline
view进行query transfomation，即视图合并，不过也经常带来意想不到的问题。下面是一个inline view的merge的例子：1,
创建临时表1 create table test1 as ....
分类：
数据库 时间：
2014-04-28 04:07:33
阅读次数：
928
oracle的optimizer会对一些sql语句进行查询转换，比如：合并视图子查询非嵌套化inlist转换下面讲讲遇到的in
list转化优化的案例:create table test(col1 varchar2(12)col2 numberext
varchar2(4000));creat...
分类：
数据库 时间：
2014-04-28 04:03:42
阅读次数：
853
（1）隔离列如果在查询中没有隔离索引的列，mysql通常不会使用索引。”隔离“列意味着它不是表达式的一部分，也没有位于函数中。如以下的查询将不会使用actor_id上的索引1
mysql>select * from actor where actor_id +1 = 5我们虽然很容易的看出actor...
分类：
其他好文 时间：
2014-04-28 03:59:46
阅读次数：
491
对于实际的业务系统，通常有一些热点的表，insert和delete的量非常大，这个时候就会发现一些查询语句的逻辑读比较偏高，这时可能就是oracle在构建一致性块的进行的consistent
read。下面做一个测试看下：第一步准备数据：create table test(col1 varchar2...
分类：
数据库 时间：
2014-04-28 03:57:41
阅读次数：
821
Buffer sort引发的血案
今天遇到的一个问题，在线系统上，有两张表，test1大概50G，test2大概200G，需要查询出来test1表中部分记录，并且这些记录不存在test2表中。于是就写了一个sql：select
t1.* from test1 t1, test2 t2 where.....
分类：
数据库 时间：
2014-04-28 03:49:50
阅读次数：
824
SQL语言共分为四大类：数据查询语言DQL、数据操纵语言DML、数据定义语言DDL、数据控制语言DCL1.
数据查询语言DQL数据查询语言DQL基本结构是由SELECT、FROM、WHERE子句组成的查询块:SELECT FROM WHERE 2.
数据操纵语言数据操纵语言DML主要有三种形式：1)...
分类：
数据库 时间：
2014-04-27 22:16:41
阅读次数：
633
在admin页面，输入相关内容后，会返回xml格式的内容。说明如下： 0 3 on 10 0
monitor 2.2 0.5747526 ...
分类：
其他好文 时间：
2014-04-27 22:10:48
阅读次数：
600
1、 solr基础因为 Solr 包装并扩展了
Lucene，所以它们使用很多相同的术语。更重要的是，Solr 创建的索引与 Lucene 搜索引擎库完全兼容。通过对 Solr
进行适当的配置，某些情况下可能需要进行编码，Solr 可以阅读和使用构建到其他 Lucene 应用程序中的索引。在 Sol...
分类：
其他好文 时间：
2014-04-27 21:38:00
阅读次数：
607
