使用flask和BeautifulSoup开发的单页面应用,获取雪球ID关注的组合的调仓信息和关注组合的累计股票仓位。可以在github下载调试。 页面加载后显示效果: 后端部分: 前端html: 前端JavaScript部分: ...
分类:
其他好文 时间:
2017-02-20 12:53:44
阅读次数:
213
版本:Python3.x 运行系统:win7 编辑器:pycharm 爬取页面:携程的一个页面(韩国首尔6日5晚半自助游·直飞+滑雪场或南怡岛+乐天世界+1天自由活动-【携程旅游】) ...
分类:
编程语言 时间:
2017-02-18 14:16:58
阅读次数:
255
背景 下载安装 官网地址:http://www.crummy.com/software/BeautifulSoup/bs4/download/ 使用pycharm的话,可以在setting中安装 命令安装: pip3 install beautifulsoup4 sudo python setup. ...
分类:
编程语言 时间:
2017-02-14 20:27:09
阅读次数:
283
1. 目标:开发轻量级爬虫(不包括需登陆的 和 Javascript异步加载的) 不需要登陆的静态网页抓取 2. 内容: 2.1 爬虫简介 2.2 简单爬虫架构 2.3 URL管理器 2.4 网页下载器(urllib2) 2.5 网页解析器(BeautifulSoup) 2.6 完整实例:爬取百度百 ...
分类:
编程语言 时间:
2017-02-14 13:25:23
阅读次数:
313
1 from bs4 import BeautifulSoup 2 import requests,urllib.request,urllib.parse 3 import json 4 import time 5 import os 6 headers = {'User-Agent':'Mozil... ...
分类:
编程语言 时间:
2017-02-10 11:37:09
阅读次数:
220
前言 你是否觉得 XPath 的用法多少有点晦涩难记呢? 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢? 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢? 你是否已经有了一些前端基础了解选择器却与另外一些奇怪的选择器语法混淆了呢? 嗯,那么,前端大大们的福音来了,Py ...
分类:
编程语言 时间:
2017-02-08 22:38:54
阅读次数:
275
fromurllib.requestimporturlopenfromurllib.errorimportHTTPErrorfrombs4importBeautifulSoupdefgetTitle(url):try:html=urlopen(url)exceptHTTPErrorase:#服务器错误returnnonetry:obj=BeautifulSoup(html,"html.parser")title=obj.body.h1exceptAttributeErrorase:#属性错误..
分类:
其他好文 时间:
2017-01-20 13:27:54
阅读次数:
147
目的:显示糗百多页文字内容,一次看个够,节约时间。 工具:python 2.7,BeautifulSoup,requests (没有采用urllib2,因为比较麻烦) 先把源码贴出来: #-*- coding:utf-8 -*- import requests from bs4 import Bea ...
分类:
编程语言 时间:
2017-01-19 23:59:17
阅读次数:
335
from bs4 import BeautifulSoupinfo = []with open('D:\web1111/new_index.html','r') as wb_data: Soup = BeautifulSoup(wb_data,'lxml') images = Soup.select ...
分类:
其他好文 时间:
2017-01-19 16:13:08
阅读次数:
213
原料:python3或者以上BeautifulSoup4以上1、在DOS窗口输入:pythonf:\python36\beautifulsoup4-4.5.1\setup.pyinstall说明BeautifulSoup暂时安装成功。运行提示bs支持python2不支持python3,需要用命令2to3-wbs4将bs4转换成python3支持的2:关键步骤:将beautifulsoup4-4.5.1下..
分类:
编程语言 时间:
2017-01-18 14:30:06
阅读次数:
294