Scrapy介绍 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的一般方法是 ...
分类：
编程语言 时间：
2016-12-22 06:32:18
阅读次数：
260
jquery的$.post发送数据到服务器后台，在由后台的PHP代码执行远程抓取，存到数据库ajax返回数据到前台，前台用JS接受数据并显示。 //远程抓取获取数据$("#update_ac").click(function() {$username = $("#username").text(); ...
分类：
Web程序 时间：
2016-12-16 19:53:04
阅读次数：
179
抓取数据的时候碰到科学技术法，查了一些资料，直接贴代码 最后Math.Round(dData,4)是四舍五入保留四位小数 ...
一个小测试发现可以自动做题，于是想通过脚本的方式看能不能获取相应的题库，刚好可以学习一下JS异步操作。花了一天时间，总算跑顺利了，遇到了不少坑。记录下来分享。 1、JS如何顺序执行 JS有强大的异步操作机制，但由于之前顺序执行的思路受限，直接用For循环的话会把请求结果的顺序搞乱。因此需要让JS在异 ...
分类：
其他好文 时间：
2016-12-10 06:47:38
阅读次数：
232
这篇博文主要讲一下如何使用Phantomjs进行数据抓取，这里面抓的网站是太平洋电脑网估价的内容。主要是对电脑笔记本以及他们的属性进行抓取，然后在使用nodejs进行下载图片和插入数据库操作。 ...
分类：
数据库 时间：
2016-12-07 01:19:30
阅读次数：
275
概要 这篇博客是在上一篇博客Phantomjs+Nodejs+Mysql数据抓取（1.抓取数据） http://blog.csdn.net/jokerkon/article/details/50868880 后进行的第二部分，请各位读者在看这篇博客之前先浏览上一篇，因为这里面有部分代码会沿用到上一部 ...
分类：
数据库 时间：
2016-12-07 01:19:14
阅读次数：
411
版本控制器是我们最为常用的工具之一，而GIT又是其中的佼佼者，今天就来总结一下我学习到的那一部分。较为基础，仅适小白解惑，如有任何错误，请帮忙指出谢谢。 1.Git功能理解： 版本控制器：顾名思义以为帮助我们控制代码版本，并且可以回溯之前的版本，并可以统筹多人开发多人提交等等的一系列的状况。使得我们 ...
分类：
其他好文 时间：
2016-12-05 14:46:18
阅读次数：
287
grep是平时在分析数据文件的时候大量的使用的一个指令，而在grep的参数选项中有一个“--color=auto”给抓取到的数据上加上高亮颜色，而具体是指定那种颜色是由GREP_COLOR变量控制的，在这里就不多做赘述了，要具体的可以通man手册查看。我们平时在grep抓取数据时标记颜色写“--..
分类：
其他好文 时间：
2016-11-23 00:18:02
阅读次数：
201
自从学会用nginx服务器代理抓取数据，妈妈再也不用担心我写DEMO时拿不到数据了，从此你也摆脱了自己造数据的烦恼。哇！又出新框架了，走，写个DEMO练习去，那我们用React.JS仿制个淘宝出来吧，淘宝数据怎么办？？？so easy , 直接去抓取接口数据就可以了。 一、下载nginx服务器 去n ...
分类：
其他好文 时间：
2016-11-14 00:36:35
阅读次数：
254
网上看房子，不过网速太慢，就做个demo来抓数据并存到表格里。 代码如下： using System; using System.Collections.Generic; using System.IO; using System.Linq; using System.Net; using Syst ...
分类：
其他好文 时间：
2016-11-12 19:46:05
阅读次数：
222
