利用Requests爬取慕课网课程图片
网址：http://www.imooc.com/course/list?page=1
步骤分析
1、导入模块
2、抓取源代码 两种方法
利用requests.get
打开一个txt文件，利用Ctrl+F查找要匹配的部分源代码，粘贴到txt文件中，...
分类：
Web程序 时间：
2016-05-12 20:38:39
阅读次数：
268
首先对Xpath进行安装配置
安装Xpath 安装 lxml库 从Python第三方库下载，或者 pip install lxml
学会使用Xpath
导入etree模块
from lxml import etree
使用Xpath 提取网页感兴趣代码
Selector...
分类：
Web程序 时间：
2016-05-12 17:21:29
阅读次数：
895
作为移动平台的应用，一定避免不了与网络交换数据，不论是读取网页数据，还是调用API接口，都必须掌握Http通信技术使用Get方式与网络通信是最常见的Http通信，建立链接之后就可以通过输入流读取网络数据。
代码：public class MainActivity extends Activity { @Override
protected void onCreate(Bundle s...
分类：
移动开发 时间：
2016-05-12 14:20:18
阅读次数：
204
最近在用python写抓取程序，抓取一些网页数据用于数据分析。 python的编码是和java以及c++等不太一样，存在字符串编码以及文件编码， 故在操作文件是需注意文件编码与需要保存字符串编码保持一致，已确认数据完全保存正确。 python语法简洁，做工具开发效率奇高。 问题解决借鉴了 http: ...
分类：
编程语言 时间：
2016-05-12 09:16:39
阅读次数：
141
由于需要学习机器学习的内容，了解到python在机器学习中使用很方便，开始学习之，机器学习目前主要在学《机器学习实战》这本书。python是在MOOC中学习《用python玩转数据》这门公开课。以后可以将课程的作业解答的答案放上来。 用python获取网页数据，题目要求如下： 我使用的是spyder ...
分类：
编程语言 时间：
2016-05-08 13:29:44
阅读次数：
197
Jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 基本了解参考中文文档：http://www.open-open.com/jsoup/ 下面介绍一个具体例子： 比 ...
分类：
Web程序 时间：
2016-05-04 18:49:04
阅读次数：
225
Hawk-数据抓取工具：简明教程 Hawk: Advanced Crawler& ETL tool written in C#/WPF 1.软件介绍 HAWK是一种数据采集和清洗工具，依据GPL协议开源，能够灵活，有效地采集来自网页，数据库，文件， 并通过可视化地拖拽，快速地进行生成，过滤，转换等操 ...
分类：
其他好文 时间：
2016-05-03 20:27:59
阅读次数：
829
原文:【.NET】使用HtmlAgilityPack抓取网页数据 刚刚学习了XPath路径表达式，主要是对XML文档中的节点进行搜索，通过XPath表达式可以对XML文档中的节点位置进行快速定位和访问，html也是也是一种类似于xml的标记语言，但是语法没有那么严谨，在codeplex里有一个开源项 ...
分类：
Web程序 时间：
2016-04-30 14:16:20
阅读次数：
158
AppInventor中的web组件提供了调用网页数据和访问云端数据库的功能，本文讨论使用AppInventor结合PHP实现客户端注册的功能。
本程序想实现的具体功能：当手机终端输入用户名、密码和昵称后，点击“注册”按钮，APP便将数据上传至服务器端的处理程序，如果是新用户，则将用户名、密码和昵称保存在数据表中，如果用户已存在，则提示客户端重新输入信息。
Step1：设计...
分类：
移动开发 时间：
2016-04-29 19:17:24
阅读次数：
379
地址： http://blog.csdn.net/hujkay作者：Jekkay Hu(34538980@qq.com)关键词：Windows，curl，ssl, visual c++ 2005， libcurl, https,网页抓取时间： 2014/2/18 1. 概述 由于Curl提供强大的网 ...
