```
# 抓取《我不是药神》的豆瓣评论 import csv
import time
import requests
from lxml import etree fw = open('douban_comments.csv', 'w')
writer = csv.writer(fw)
write... ...
分类：
其他好文 时间：
2019-05-04 11:38:42
阅读次数：
117
说明 五一将至，又到了学习的季节。目前流行的各大书单主打的都是豆瓣8.0评分书籍，却很少有人来聊聊这9.0评分的书籍长什么样子。刚好最近学了学python爬虫，那就拿豆瓣读书来练练手。 爬虫 本来思路是直接爬豆瓣的书籍目录，将评分9.0以上的书筛选出来，一打开发现事情并不简单，几千万本书可不好爬 = ...
分类：
编程语言 时间：
2019-04-30 20:17:38
阅读次数：
178
目前，大厂的服务范围越来越广，提供的数据信息也是比较全的，在生活服务，办公领域，人工智能等方面都全面覆盖，相对来说，他们的用户基数大，通过用户获取的信息也是巨大的。除了百度提供api，国内提供免费API获取数据的还有很多，包括新浪、豆瓣电影、饿了么、阿里、腾讯等今天使用百度地图API来请求我们想要的 ...
分类：
Windows程序 时间：
2019-04-30 12:18:37
阅读次数：
1480
功能描述： 爬取豆瓣电影排行top250 使用的库 1、time 2、json 3、requests 4、BuautifulSoup 5、RequestException 上机实验室： 补充说明： 1、 ...
分类：
其他好文 时间：
2019-04-27 19:32:47
阅读次数：
506
一、写在前面 最近复仇者联盟4正在热映中，很多人都去电影院观看了电影，那么对于这部电影，看过的人都是怎么评价的呢？这时候爬虫就可以派上用场了！ 二、主要思路 首先打开豆瓣电影，然后进入复仇者联盟4的详情页面：https://movie.douban.com/subject/26100958/，下拉页 ...
分类：
编程语言 时间：
2019-04-27 13:12:40
阅读次数：
196
尝试直接请求URL获取资源 豆瓣电影 https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=time&page_limit=20&page_start=0 浏览器打开该地址： 发现是这样的 在这里我们需要用j ...
分类：
编程语言 时间：
2019-04-20 10:10:38
阅读次数：
174
技术交流 "CSDN论坛" IT技术交流平台 "C语言中文社区" "javafm.com" Java中文社区 "Go语言中文网" Golang中文社区 "Rust语言中文社区" "今日头条技术博客" 写作投稿 "写手之家" ，找约稿，找找写手，最专业的编辑写手交流平台 "豆瓣稿费银行" ：征稿 兼职 ...
分类：
其他好文 时间：
2019-04-15 18:23:04
阅读次数：
163
目前问题： 1.爬虫爬到十七条数据后，就不进行了，处于等待状态，咱不知道问题所在 2.采用selenium爬虫，由于涉及到页面加载，十分缓慢，个人倾向于ajax技术。#from bs4 import BeautifulSoup import re, csv, urllib.request, urll... ...
分类：
其他好文 时间：
2019-04-09 09:29:04
阅读次数：
199
1 # -*- coding:utf-8 -*- 2 ''' 3 抓取豆瓣电影某部电影的评论 4抓取电影 5 网址链接:https://movie.douban.com/subject/26630781/comments 6 为了抓取全部评论需要先进行登录 7 ''' 8 from selenium ...
分类：
编程语言 时间：
2019-04-06 12:41:16
阅读次数：
265
