python3中urllib库进行模拟登录，这里主要是保存cookie,以访问人人网为例： import http.cookiejar from urllib import parse #创建一个对象，存储cookie cookie = http.cookiejar.CookieJar() #创建一 ...
分类：
编程语言 时间：
2020-03-08 11:15:28
阅读次数：
71
总结了一下自己自学的一些心得与大家分享一下 下面是自己整理了一些selenium的基础api 1 #导入浏览器模块 2 from selenium import webdriver 3 #打开浏览器 4 drive = webdriver.chorme() 5 #访问网站 6 driver.get( ...
分类：
其他好文 时间：
2020-02-16 13:07:02
阅读次数：
87
文章大致结构一、产品介绍二、竞品分析三、产品运用场景四、部分功能测试五、总结概述本文探讨的目的是笔者在研究众多产品之后，想要做一个社交社区工具类产品的一个系列，恰好看到人人网回归社交，又正好在体验短说社区论坛系统，于是就有了这篇文章。?·探讨产品在功能设计、交互、市场等方面的表现?·探讨社区论坛类型的产品角度来剖析目前的互联网行情一、产品介绍说起短说整合运营系统，其实算是一个比较陌生的词，短说实际
分类：
其他好文 时间：
2020-01-17 15:09:15
阅读次数：
119
1.给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个小文件（记为）中。这样每个小文件的大约为300M。遍历文件b，采
分类：
编程语言 时间：
2019-09-05 20:31:55
阅读次数：
119
AJAX 是与服务器交换数据的技术，它在不重载全部页面的情况下，实现了对部分网页的更新。 jQuery AJAX 实例 使用 jQuery AJAX 修改文本内容 获取外部内容 尝试一下 » jQuery AJAX 实例 使用 jQuery AJAX 修改文本内容 获取外部内容 使用 jQuery ...
分类：
Web程序 时间：
2019-08-27 13:07:31
阅读次数：
112
cookie模拟登录 1.适用网站几场景 抓取需要登录才能访问的页面 2.cookie和session机制 人人网登录案例 方法一.登录网站手动抓取Cookie import requests class RenRenLogin(object): def __init__(self): # url为 ...
分类：
其他好文 时间：
2019-08-15 21:14:16
阅读次数：
160
Ajax 是一种在无需重新加载整个网页的情况下，能够更新部分网页的技术。 ...
分类：
Web程序 时间：
2019-08-15 13:06:31
阅读次数：
104
引入 有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的，例如： #!/usr/bin/env python # -*- coding:utf-8 -*- import requests ...
分类：
其他好文 时间：
2019-07-08 13:27:41
阅读次数：
112
一.云打码平台的使用 云打码平台 ： http://www.yundama.com/ 1.注册用户 和 开发者用户两种用户。 2. 登录开发者 ,创建自己的软件。 其提供的接口： 1. 可以将下面代码存放在另一个文件，方便调用该模块 ： ydm.py 2. 自己在编写一个方法，来得到云打码识别出的验 ...
分类：
其他好文 时间：
2019-03-22 22:54:02
阅读次数：
256
有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的，例如： 一.基于requests模块的cookie操作 - 结果发现，写入到文件中的数据，不是张三个人页面的数据，而是人人网登陆的首页面 ...
分类：
编程语言 时间：
2019-03-01 15:35:27
阅读次数：
241
