因为大三下的时候选修了搜索技术,了解了网络上搜索引擎和网络爬虫的信息扒取的一些东西,后来我们做了一个比较水的东西,就是只扒取了几家较大的下载网站几十个软件的评分下载量等信息,当用户输入一个程序名称,我们会根据下载量和评分算出的分数做一个推荐排序。
咳,扯远了。那时候我们在windows下需要用火狐来查看网页的源代码,这点强大的Safari也是可以做到的,甚至Safari提供的查看源...
分类:
Web程序 时间:
2014-10-01 02:14:30
阅读次数:
337
URL、URI、URNURL:protocol :// hostname[:port] / path / [;parameters][?query]#fragment
分类:
编程语言 时间:
2014-10-01 00:28:10
阅读次数:
182
基础知识搜索引擎搜索引擎爬虫会检索各个网站,分析他们的关键字,从一个连接到另一个连接,如果爬虫觉得这个关键字是有用的 就会存入搜索引擎数据库,反之如果没用的、恶意的、或者已经在数据库的,就会舍弃。搜索引擎数据库 保证是爬虫爬过的最新的数据。用户在使用搜索引擎会在搜索引擎数据库查找关键词,展现给用的的...
分类:
其他好文 时间:
2014-10-01 00:16:40
阅读次数:
187
一:前言 最近决定每天都把知识点总结下,然后每个星期把知识点在进行分类发表日志。二:The Question (1):在oracle中进行年龄的计算,知道出生日期进行计算后截取,本来是一个很简单的函数,但是我觉得对于这些东西真的是用多了自己就记住了所以我还是记载下来,不然我每次都要进行查找,还是.....
分类:
数据库 时间:
2014-09-30 20:57:20
阅读次数:
207
今天是2014年9月30日了,明天就是国庆节了,首先祝咱们伟大的祖国生日快乐.还有几分钟就要下班了,研究了几天关于require这个库的模块化开发的相关文章,终于写出了初恋的模块化例子:弹出一个登陆框:第一:首先在静态页面引入require库文件,并在该引入标签中引入主脚本文件( main.js )...
分类:
编程语言 时间:
2014-09-30 20:20:00
阅读次数:
229
网络爬虫程序的优劣,很大程度上反映了一个搜索引擎的好差。不信,你可以随便拿一个网站去查询一下各家搜索对它的网页收录情况,爬虫强大程度跟搜索引擎好坏基本成正比。 1.世界上最简单的爬虫——三行情诗 我们先...
分类:
Web程序 时间:
2014-09-30 19:37:00
阅读次数:
306
一个网站只有爬虫抓取了,才能被收录、有快照、有排名。所以搜索引擎爬虫对网站的抓取情况直接决定了一个网站seo的成败。今天笔者就从网站内部本身来分析一下那些因素将影响到搜索引擎爬虫的爬取: 1、网站速度影响爬虫访问 机房—DNS服务器—CDN—出口带宽--硬件—操作系统—服务器软件—程序 机房的...
分类:
Web程序 时间:
2014-09-30 17:03:59
阅读次数:
210
文章转自:http://blog.csdn.net/hguisu/article/details/7949844通用搜索引擎的处理对象是互联网网页,目前网页数量以百亿计,搜索引擎的网络爬虫能够高效地将海量的网页数据传下载到本地,在本地 形成互联网网页的镜像备份。它是搜索引擎系统中很关键也很基础的构件...
分类:
其他好文 时间:
2014-09-30 14:57:29
阅读次数:
302
配置好项目之后,Apache,MySQL等会产生日志,为了方便管理,将其按照一定的间隔时间进行转储1.Apache日志在配置文件中加入以下两句:CustomLog"|/usr/sbin/rotatelogs/var/log/httpd/access-80.log.%Y%m%d86400540"combinedErrorLog"|/usr/sbin/rotatelogs/var/log/httpd/error..
分类:
系统相关 时间:
2014-09-29 18:02:01
阅读次数:
356
网络爬虫,是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。网络爬虫是搜索引擎系统中十分重要的组成部分,它负责从互 联网中搜集网页,采集信息,这些网页信息用于建立索引从而为搜索 引擎提供支持,它决定着整个引擎系统的内容是否丰富,信息是否即 时,因此其性能的优劣直接影响着搜索引擎的效果。网络爬...
分类:
Web程序 时间:
2014-09-29 13:30:00
阅读次数:
281