[目录]扯淡吹逼之开发前奏Django 开发环境搭建及配置Bootstrap 前端页面开发Django app开发Django 站点管理Python 简易爬虫开发Nginx&uWSGI 服务器配置...一、扯淡吹逼之开发前奏 终于答辩完了，实在没什么事，作为一个死宅到底的码农，只有呆在宿舍写程序玩....
分类：
Web程序 时间：
2014-06-26 18:17:01
阅读次数：
339
网络爬虫第一个要面临的问题，就是如何抓取网页，抓取其实很容易，没你想的那么复杂，一个开源HtmlUnit包，4行代码就OK啦，例子如下：1234finalWebClient webClient=newWebClient();finalHtmlPage page=webClient.getPage("...
分类：
Web程序 时间：
2014-06-22 23:47:37
阅读次数：
373
注：因发现各网站爬虫随意收集文章，故做此声明：版权归原作者(Leaf.Duan)所有，转载还请著名出处，谢谢设备信息Epson TM-T88IV Thermal Printer，爱普生 TM-T88IV 热敏式打印机，主要用来打印票据(receipt)操作系统：windows 7 Ultimate ...
分类：
Web程序 时间：
2014-06-20 14:05:15
阅读次数：
370
因为最近学校实训，做的是一个搜索相关的项目，并且是c++的一个项目，所以就想到了larbin，于是接下来几天就现研究研究其源码，再根据项目需求修改其源码。
不多说，直接进入今天的正题。今天的目的就是简单了解下larbin。
Larbin简介
larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人Sébastien Ailleret独立开发，用c++语言实现。larbin目的是...
分类：
编程语言 时间：
2014-06-18 11:34:10
阅读次数：
564
nutch，solr集成在hadoop上 nutch是一个应用程序，在我的这个项目里主要是做爬虫用，爬取后的内容寄存在hdfs上，所以在hdfs结合模块现已结合上去了。 solr： 在eclipse新建动态页面项目，删去WebContent的一切内容。 在solr/dist下（或许/solr3.6....
分类：
其他好文 时间：
2014-06-18 10:30:02
阅读次数：
223
关键词: nutch今日来看看Nutch怎么Parse页面的： Nutch运用了两种Html parser东西（NekoHTML和TagSoup）来完成html的获取，这两种东西是可经过配置来选择的。 当然你要自己完成Parser你还能够选择HTMLParser[根据visitor访问者形式一起也供...
分类：
其他好文 时间：
2014-06-17 21:22:32
阅读次数：
258
关键词:nutch今日来看看Nutch怎么Parse页面的：Nutch运用了两种Htmlparser东西（NekoHTML和TagSoup）来完成html的获取，这两种东西是可经过配置来选择的。当然你要自己完成Parser你还能够选择HTMLParser[根据visitor访问者形式一起也供给了Eventdriver的接口]来获取页面。假如..
分类：
其他好文 时间：
2014-06-17 18:30:27
阅读次数：
200
近来方案做个爬虫的小比如，后来想想干脆运用的全部一点，今后就作为是个工程笔记，忘掉的代码就可以再到这个工程里查查了。solr是个很不错的东西，直接用就OK。下一方案方案看看compass，是一个封装了LuceneAPI的一个结构，用起来有点类似Hibernate，值得学习一下~好了，先个..
分类：
其他好文 时间：
2014-06-17 18:09:07
阅读次数：
192
这是一个web查找的根本程序，从命令行输入查找条件（开端的URL、处置url的最大数、要查找的字符串),它就会逐一对Internet上的URL进行实时查找,查找并输出匹配查找条件的页面。这个程序的原型来自《java编程艺术》，为了非常好的剖析，站长去掉了其间的GUI有些，并稍作修改以适..
分类：
编程语言 时间：
2014-06-17 16:50:56
阅读次数：
259
近来方案做个爬虫的小比如，后来想想干脆运用的全部一点，今后就作为是个工程笔记，忘掉的代码就可以再到这个工程里查查了。solr是个很不错的东西，直接用就OK。下一方案方案看看compass，是一个封装了LuceneAPI的一个结构，用起来有点类似Hibernate，值得学习一下~ 好了，先个我们共享一...
分类：
其他好文 时间：
2014-06-17 14:15:31
阅读次数：
193
