IP相关统计 统计IP访问量 查看某一时间段的IP访问量(4-5点) 查看访问最频繁的前100个IP 查看访问100次以上的IP 查询某个IP的详细访问情况,按访问频率排序 页面访问统计 查看访问最频的页面(TOP100) 查看访问最频的页面([排除php页面】(TOP100) 查看页面访问次数超过 ...
分类：
数据库 时间：
2018-10-09 18:12:29
阅读次数：
253
（一）目标站点的分析 首先打开我们的目标网站，发现每一页有十个电影，最下面有分页标志，而分页只改变的是标签后缀，如下： 而后可以在网页按f12打开源代码管理，查看网页每处信息对应的源代码形式，如下图： （二）流程框架 经过简单分析后，我们可以整理一下总的流程分为四步： （三）实战编码 1.我们首先完 ...
分类：
其他好文 时间：
2018-10-02 17:35:37
阅读次数：
228
流程框架: 抓取单页内容：利用requests请求目标站点，得到单个网页HTML代码，返回结果。 正则表达式分析：根据HTML代码分析得到电影和名称、主演、上映时间、评分、图片链接等信息。 开启循环及多线程：对多页内容遍历，开启多线程提高抓取速度。 保存至文件：通过文件的形式将内容结果保存，每一部电 ...
分类：
其他好文 时间：
2018-09-23 11:38:02
阅读次数：
137
获取酷狗TOP 100 http://www.kugou.com/yy/rank/home/1-8888.html 排名 文件&&歌手 时长 效果： 附源码： import time import json from bs4 import BeautifulSoup import requests ... ...
分类：
编程语言 时间：
2018-09-09 18:08:59
阅读次数：
874
三种布局方式 标准流(顺序) 1块级元素 h div table ol ul li p 独占一行 2内联元素 a mig span input 排列除非宽度不够 { width:100px;height:100;background: red; border:1px solid #fff } // ...
分类：
其他好文 时间：
2018-09-05 08:53:58
阅读次数：
111
IP相关统计 统计IP访问量（独立ip访问数量） 查看某一时间段的IP访问量(4-5点) 查看访问最频繁的前100个IP 查看访问100次以上的IP 查询某个IP的详细访问情况,按访问频率排序 页面访问统计 查看访问最频的页面(TOP100) 查看访问最频的页面([排除php页面】(TOP100) ...
分类：
其他好文 时间：
2018-08-02 00:00:36
阅读次数：
221
学的是《python3网络爬虫开发实战》里的代码，就改了下正则。 效果(result.txt)： ...
分类：
其他好文 时间：
2018-07-16 23:04:06
阅读次数：
160
安卓系统的开放性、碎片化导致很多安卓应用在兼容性、稳定性、安全性等方面存在诸多问题；随着移动互联市场的快速发展，这些问题已涉及国内百万级的应用存量，导致国内安卓生态失衡，应用兼容问题堪忧。众所周知，华为终端一直以打造极致用户体验为己任，从海量应用适配成本高、测试难度大、调试流程复杂等痛点问题出发，分 ...
分类：
其他好文 时间：
2018-06-27 20:06:45
阅读次数：
142
前面讲了如何通过pymysql操作数据库，这次写一个爬虫来提取信息，并将数据存储到mysql数据库 1.爬取目标 爬取猫眼电影TOP100榜单 要提取的信息包括：电影排名、电影名称、上映时间、分数 2.分析网页HTML源码 可以看到每部电影信息都被包裹在一对<dd>...</dd& ...
分类：
数据库 时间：
2018-06-23 19:01:33
阅读次数：
170
爬虫项目爬取猫眼电影TOP100电影信息 项目内容来自：https://github.com/Germey/MaoYan/blob/master/spider.py 由于其中需要爬取的包含电影名字、电影海报图片、演员、上映时间等众多信息，正则表达式代码较为复杂 在parse_one_page(htm ...
分类：
编程语言 时间：
2018-05-23 22:11:42
阅读次数：
235
