标签：
2.去跑一遍采集小说的脚本任务
为了减少依赖，之前采集小说的实现是两部分：
第一部分：nodejs去目录页抓取章节的url，写入txt文件存储。
第二部分：php利用封装的curl类和分析解析类去分别获取标题内容，写入HTML文件。
这样不仅要让进行定时任务的物理机或docker上要有php环境也要有nodejs环境。由于我擅长php，所以改为两部分全部由php完成。采集的完整代码可以见前面写过的采集类等博客。
curl封装类beta版的博客记录： http://www.cnblogs.com/freephp/p/4962591.html.
优化curl封装类的博客记录： http://www.cnblogs.com/freephp/p/5112135.html.
如果不熟悉的朋友，可以先看这部分博客后再阅读本文。
代码关键部分：
$menuUrl = ‘http://www.zhuaji.org/read/2531/‘; $menuContents = MyCurl::send($menuUrl, ‘get‘); $analyzer = new Analyzer(); $urls = $analyzer->getLinks($menuContents);
后面再循环去curl每个章节页面，抓取和解析内容并写入文件即可。
代码简洁和可读性已经比较好了。现在我们考虑效率和性能问题。这个代码都是一次性下载完所有文件，唯一做去重判断都是在每次get到章节内容之后对比文件名是否存在。但已经做了一些无用费时的网络请求。目前该小说有578章，加上目录被爬一次，一共要发起578+1次get请求，以后小说还会不断增加章节，那么执行时间会更长。
这个脚本最大的瓶颈就在网络消耗上。
此脚本效率不高，每次都是把所有章节的页面都去爬一次，网络消耗很大。如果是第一次下载还好，毕竟要下载全部。如果是每天都执行，那么其实我是想增量地去下载前一天新增的章节。
又有几个思路可以考虑：
1.我们要考虑每次执行之后最后一个被存下来的页面的id要记录下来。然后下一次就从这个id开始继续下载。
2.中间断掉也可以反复重新跑。（遵从第一条最后一句）
这样就能从新增的页面去爬，减少了网络请求量，执行效率大幅提高。
其实这个问题就变成想办法记录执行成功的最后一个章节id的问题了。
我们可以把这个id写入数据库，也可以写入文件。为了简单和少依赖，我决定还是写文件。
单独封装一个获取最大id的函数，然后过滤掉已经下载的文件。完整代码如下：
function getMaxId() { $idLogFiles = ‘./biggestId.txt‘; $biggestId = 0; if (file_exists($idLogFiles)) { $fp = fopen($idLogFiles, ‘r‘); $biggestId = trim(fread($fp, 1024)); fclose($fp); } return $biggestId; } /** * ?client to run */ set_time_limit(0); require ‘Analyzer.php‘; $start = microtime(true); $menuUrl = ‘http://www.zhuaji.org/read/2531/‘; $menuContents = MyCurl::send($menuUrl, ‘get‘); $biggestId = getMaxId() + 0; $analyzer =new Analyzer(); $urls = $analyzer->getLinks($menuContents); $ids = array(); foreach ($urls as $url) { $parts = explode(‘.‘, $url); array_push($ids, $parts[0]); } sort($ids, SORT_NUMERIC); $newIds = array(); foreach ($ids as &$id) { if ((int)$id > $biggestId) array_push($newIds, $id); } if (empty($newIds)) exit(‘nothing to download!‘); foreach ($newIds as $id) { $url = $id . ‘.html‘; $res = MyCurl::send(‘http://www.zhuaji.org/read/2531/‘ . $url, ‘get‘); $title = $analyzer->getTitle($res)[1]; $content = $analyzer->getContent(‘div‘, ‘content‘, $res)[0]; $allContents = $title . "<br/>". $content; $filePath = ‘D:/www/tempscript/juewangjiaoshi/‘ . $title . ‘.html‘; if(!file_exists($filePath)) { $analyzer->storeToFile($filePath, $allContents); $idfp = fopen(‘biggestId.txt‘, ‘w‘); fwrite($idfp, $id); fclose($idfp); } else { continue; } echo ‘down the url:‘ , $url , "\r\n"; } $end = microtime(true); $cost = $end - $start; echo "total cost time:" . round($cost, 3) . " seconds\r\n";
加在windows定时任务或linux下的cron即可每天享受小说的乐趣，而不用每次手动去浏览网页浪费流量，解析后的html文件存文字版更舒服。不过这段代码在低版本的php下会报错，数组简化写法[44,3323,443]是在php5.4之后才出现的。
之前下载完所有小说需要大概2分多钟。改进最终结果为：
效果显著，我在/etc/crontab里面设置如下：
0 3 * * * root /usr/bin/php /data/scripts/tempscript/MyCurl.php >> /tmp/downNovel.log
这个作者的小说真心不错，虽然后期写得很后宫和文字匮乏，常到12点还在更新，所以把每天定时任务放在凌晨3点采集之。
标签：
原文地址：http://www.cnblogs.com/freephp/p/5148792.html
