标签:make lda lin title 审核 php amp 数据 set
以前写过java版的crawler,最近看了Groovy的XmlSlurper,效果还是不太满意,直到这篇文章启发了我:how-to-make-a-simple-web-crawler-in-javascript-and-node-js。于是就想到使用jQuery风格的js来解析html并获取数据,把这样的js碎片逻辑作为配置从而支持更灵活的自定义。
crawler的原始构思及说明:
urls=[]
$("a[href]").each(function(){
href=$(this).attr(‘href‘)
if(href.indexOf(‘://‘)>0) urls.push(href)
})
crawl={‘urls‘:urls}
获取所有img标签的src属性的配置,demo.img[src],
urls=[]
$("img[src]").each(function(){
src=$(this).attr(‘src‘)
if(src.indexOf(‘://‘)>0) urls.push(src)
})
crawl={‘urls‘:urls}
由于crawl是比较敏感的代码,因此本站只开放了crawlConfig、crawlData体验功能(自定义code.js需要审核)。同时还实现了车次信息获取的功能。
标签:make lda lin title 审核 php amp 数据 set
原文地址:https://www.cnblogs.com/xingqi/p/11108291.html