开始之前请先确保自己安装了Node.js环境，还没有安装的的童鞋请自行百度安装教程...... 1.在项目文件夹安装两个必须的依赖包 superagent 是一个轻量的,渐进式的ajax api,可读性好,学习曲线低,内部依赖nodejs原生的请求api,适用于nodejs环境下 cheerio是n ...
分类：
Web程序 时间：
2018-07-05 00:33:05
阅读次数：
256
1. Beautiful Soup的简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。 2. Beautiful Soup 安装 pip install beautifulsoup4 3. 创建 Beautiful Soup 对象 from bs4 i ...
分类：
其他好文 时间：
2018-06-26 16:01:18
阅读次数：
169
正则表达式能根据设置匹配各种数据（比如：e-mail地址，电话号码，身份中号码等等）。正则表达式功能强大，使用灵活，C#，Java，JavaScript等多种语言都支持正则表达式。在互联网上“抓取数据”更是少不了使用正则表达式。今天我要说的是在C#中使用正则表达式自动匹配并获取所需要的数据。 从下面 ...
说明：用charles抓取https请求，会出现SSL Proxying disabled in Proxy Settings这样的提示，如下图。要通过charles抓取数据，还需要进行一些简单的设置。具体：1. 安装charles ca证书1.1 选择 help | Install Charles ...
分类：
Web程序 时间：
2018-06-10 15:35:16
阅读次数：
228
涉及知识点 1、抓取数据 2、分页爬虫规律分析1、抓取数据，发现每一项都是data-tools标签2、分页分析代码import requests
from bs4 import BeautifulSoup
import re
import json
分类：
编程语言 时间：
2018-06-09 00:01:22
阅读次数：
282
这篇文章只是简单展示一个基于HTTP请求如何抓取数据的文章，如觉得简单的朋友，后续我们再慢慢深入研究探讨。 图1： 如图1，我们工作过程中，无论平台网站还是企业官网，总少不了新闻展示。如某天产品经理跟我们说，推广人员想要抓取百度新闻中热点要闻版块提高站点百度排名。要抓取百度的热点要闻版本，首先我们先 ...
beautifulsoup的简单使用 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： 安装 解析器 Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 ...
分类：
其他好文 时间：
2018-05-28 16:06:44
阅读次数：
152
【爬虫】把抓到数据存起来——爬虫绝配mongodb 视频地址 抓取数据的方法，前面的课程该讲的都已经讲了，爬取下来数据只是第一步，第二步就是要先存起来。我们最容易想到的就是存文件里喽，python写文件之前的课程也已经讲过了。存到文件里当然是可以的，但是你是否想过，每次使用都要把整个文件打开，然后读 ...
分类：
数据库 时间：
2018-05-20 23:58:51
阅读次数：
382
前言：（本文参考维基百科及百度百科所写） 当我们使用爬虫抓取数据时，有时会产生错误比如：突然跳出来了403 Forbidden 或者网页上出现以下提示：您的ip访问频率太高 或者时不时跳出一个验证码需要你输入，这是由于网站采取了反爬虫措施：服务器会检查某个固定的ip在单位时间内请求的次数，如果发现请 ...
分类：
其他好文 时间：
2018-05-15 21:14:25
阅读次数：
208
最近研究了下如何抓取为知笔记的内容，在抓取笔记里的图片内容时，老是提示403错误，用Chorme的开发者工具看了下： 这里的Cookie来自两个域，估计为知那边是验证了token(登录后才能获取到token) 下载图片的代码： [csharp] view plain copy var path = ...
