最近使用scrapy做数据挖掘，使用scrapy定时抓取数据并存入MongoDB，本文记录环境搭建过程以作备忘 OS:ubuntu 14.04 python:2.7.6 scrapy:1.0.5 DB:MongoDB 3 ubuntu14.04内置python2.7，因此python及pip安装不
分类：
系统相关 时间：
2016-03-15 17:16:00
阅读次数：
479
1. Beautiful Soup的简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的
分类：
编程语言 时间：
2016-03-02 09:34:44
阅读次数：
190
写在前面 当我们试图从新浪微博抓取数据时，我们会发现网页上提示未登录，无法查看其他用户的信息. 模拟登录是定向爬虫制作中一个必须克服的问题，只有这样才能爬取到更多的内容. 实现微博登录的方法有很多，一般我们在模拟登录时首选WAP版. 因为PC版网页源码中包括很多的js代码，提交的内容也更多，不适合机
分类：
编程语言 时间：
2016-03-01 20:51:12
阅读次数：
225
今天研究一个功能，发现一个问题。 通过webbrower模拟用户自动登录可以完成，并且可以取到相对应的页面内容。 但是如果页面中通过ajax,动态加载的内容，这种方式是取不到的，于是用到了httpRequest get。 如果没有登录还好，有登录以后则需要进行验证。 但是web登录是别人做的，他们的
前段时候抓取微博的数据，想着自己使用htmlunit来模拟登陆新浪微博来抓取数据，这两天看了新浪微博的官方API，发现通过新浪微博的官方API 来获取新浪微博信息，更全面，更简单。下面就从注册新浪微博，到在新浪微博开放平台上面完善开发者信息，然后创建应用，从而获取Access Token，最后开发自
一、前言： Charles是一款抓包修改工具，相比起burp，charles具有界面简单直观，易于上手，数据请求控制容易，修改简单，抓取数据的开始暂停方便等等优势！下面来详细介绍下这款强大好用的抓包工具。 二、下载与安装： 首先是工具下载和安装 首先需要下载java的运行环境支持（一般用burp的人
分类：
其他好文 时间：
2016-02-22 15:48:09
阅读次数：
1496
paros,抓取数据包,paros抓取工具安装及使用
分类：
移动开发 时间：
2016-02-11 14:33:00
阅读次数：
255
1. 使用抓包工具抓取数据包,sqlmap加载数据包 POST /SME/static/orderFind/orderIntfaceph HTTP/1.1 Host: abc.com User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebK...
分类：
数据库 时间：
2016-02-03 22:32:38
阅读次数：
385
cacti和nagios 都是中小企业必备的监控软件,首先来一个回顾 cacti监控优缺点:主要是监控图形流量,通过web界面监控流量,(主要监控cpu内存硬盘,流量) 基于snmp(抓取数据)和rrdtool(rrdtool主要是将抓取的数据 绘制图像) nagios监控系统服务的,也能监控win
分类：
移动开发 时间：
2016-02-02 21:39:00
阅读次数：
267
1.数据库表格的建立;2.利用"抓取"模板;3.添加引用： 程序包：Jumony,Json; 项目：WebBot中的dll文档,位于bin目录下.using System;using System.Collections.Generic;using System.Linq;using Syst...
分类：
其他好文 时间：
2016-01-25 00:05:53
阅读次数：
181
