JSONP jsonp的原理很简单，就是动态的创造script标签，然后利用script的src 不受同源策略约束来跨域获取数据。 第一步 动态创建 我们在这里借助了豆瓣api来实现数据的交互 第二步 在页面中，返回的JSON作为参数传入回调函数中，我们通过回调函数来来操作数据。 完整示例： 当点击 ...
分类：
Web程序 时间：
2018-09-17 22:11:20
阅读次数：
196
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html lang="zh-CH"><head><met ...
分类：
其他好文 时间：
2018-09-17 00:04:18
阅读次数：
261
豆瓣# coding:utf - 8 from urllib.request import urlopen from bs4 import BeautifulSoup html = urlopen("https://movie.douban.com/") bsObj = BeautifulSoup(... ...
分类：
编程语言 时间：
2018-09-09 19:45:26
阅读次数：
338
下周任务： 1：python 多进程爬取豆瓣影评。 2：自然语言处理概念入门。 3：leetcode(at least 3 anwsers) 算法基础（at least three times a week) 4：信息安全（at least two times a week) 5：reading o ...
分类：
其他好文 时间：
2018-09-09 16:46:42
阅读次数：
146
爬取的网页地址为：https://movie.douban.com/top250 打开网页后，可观察到：TOP250的电影被分成了10个页面来展示，每个页面有25个电影。 那么要爬取所有电影的信息，就需要知道另外9个页面的URL链接。 第一页：https://movie.douban.com/top ...
分类：
编程语言 时间：
2018-09-03 17:16:53
阅读次数：
541
开学啦，让我们来看看豆瓣上有什么好书吧 首先当然是很正经地访问一下网页啦 网站网址是https://book.douban.com/top250?start=0 那么我们所需要的内容就是图片旁边的信息了，那就先让虫子爬过去吧，上吧小虫虫！！！ 好了，get到源代码了，再来看看自己需要的信息在哪里 就 ...
分类：
其他好文 时间：
2018-09-03 12:14:45
阅读次数：
174
数据是创造和决策的原材料，高质量的数据都价值不菲。而利用爬虫，我们可以获取大量的价值数据，经分析可以发挥巨大的价值，比如： 豆瓣、知乎：爬取优质答案，筛选出各话题下热门内容，探索用户的舆论导向。 淘宝、京东：抓取商品、评论及销量数据，对各种商品及用户的消费场景进行分析。 搜房、链家：抓取房产买卖及租 ...
分类：
编程语言 时间：
2018-08-29 10:47:04
阅读次数：
139
appgrid(一个图形化应用中心) pycharm webcharm vim chrome -switchyOmega -划词翻译 -tampermonkey -E-Hentai Downloader/ 百度云相关/ 豆瓣电影书籍相关 -adblock -stylish -dark_reader ...
分类：
系统相关 时间：
2018-08-28 21:57:13
阅读次数：
262
今天爬取豆瓣电影的是时候，出现了两个问题： 1.数据无法爬取并输出Retrying <GET https://movie.douban.com/robots.txt> 看起来像是被拦截了。 解决：去setting下面找到ROBOTSTXT_OBEY默认是True 改为 False 然后，网上搜索了一 ...
分类：
其他好文 时间：
2018-08-26 18:23:14
阅读次数：
143
写在前面的话 ：上一篇文章我们用requests和lxml.etree爬取了豆瓣电影Top250的电影信息，为了能对requests和lxml.etree有更深的理解，下面我们将继续用他们来爬取豆瓣电影的短评 ...
分类：
其他好文 时间：
2018-08-24 00:44:40
阅读次数：
425
