猫眼电影网站页面布局整体采用静态页面，其TOP100榜单按照评分和评分人数从高到低综合排序取前100名，如下： 那么，如何爬取电影库中的经典电影呢？为此，本人特意对经典电影库进行了爬取，具体遇到的困难及解决的办法如下： 1、爬取内容：本次爬取维度有电影名称、电影类型、电影制片国家、电影时长/分钟、上 ...
分类：
其他好文 时间：
2019-07-23 09:52:29
阅读次数：
97
打分排序系统漫谈3 贝叶斯更新/平均 标签（空格分隔）： 博客园 统计 打分系统 待完成 上一节我们聊了聊用[Wilson区间估计来处理小样本估计][1]，但从原理上来说这种方法更像是一种Trick，它没有从本质上解决样本量小的时候估计不置信的问题，而是给估计加上一个和样本量相关的置信下界，然后用这 ...
分类：
编程语言 时间：
2019-06-16 14:16:01
阅读次数：
153
剩余任务预估：（这里只是编写代码的用时，实际用时要长很多，根据具体人员而定） 1.做动画 2时/人 2.优化查找速度 2时/人 3.多线程处理 3时/人 4.抓其他电影网站 12时/人 5.抓音乐网站 6时/人 6.抓小说网站 6时/人 7.改进lable的显示 0.5时/人 8.显示电影封面 1时 ...
分类：
其他好文 时间：
2019-06-12 22:56:12
阅读次数：
114
增量式爬虫 引言： 当我们在浏览相关网页的时候会发现，某些网站定时会在原有网页数据的基础上更新一批数据，例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么，类似的情景，当我们在爬虫的过程中遇到时，我们是不是需要定时更新程序以便能爬取到网站中最近更 ...
分类：
其他好文 时间：
2019-05-09 20:03:36
阅读次数：
139
[TOC] 增量式爬虫 当我们在浏览相关网页的时候会发现，某些网站定时会在原有网页数据的基础上更新一批数据，例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么，类似的情景，当我们在爬虫的过程中遇到时，我们是不是需要定时更新程序以便能爬取到网站中最 ...
分类：
其他好文 时间：
2019-05-04 18:40:37
阅读次数：
117
本项目使用文本卷积神经网络，并使用 " " 数据集完成电影推荐的任务。 推荐系统在日常的网络应用中无处不在，比如网上购物、网上买书、新闻app、社交网络、音乐网站、电影网站等等等等，有人的地方就有推荐。根据个人的喜好，相同喜好人群的习惯等信息进行个性化的内容推荐。比如打开新闻类的app，因为有了个性 ...
分类：
其他好文 时间：
2019-04-09 14:03:02
阅读次数：
173
一.POST请求 二.请求传参 - 在某些情况下，我们爬取的数据不在同一个页面中，例如，我们爬取一个电影网站，电影的名称，评分在一级页面，而要爬取的其他电影详情在其二级子页面中。这时我们就需要用到请求传参。 ex：爬取www.id97.com电影网，将一级页面中的电影名称，类型，评分一级二级页面中的 ...
分类：
其他好文 时间：
2019-03-04 17:24:46
阅读次数：
164
Freekan是一套目前非常火的电影网站系统，全自动采集，支持对接公众号 服务器环境:centos7，宝塔面板，php7.1(重要)，nignx，mysql 1、首先上传压缩包到网站目录，然后解压 2、创建数据库，设置用户名和密码 3、设置伪静态，否则无法安装，域名管理中设置 4、开始安装，域名/i ...
分类：
Web程序 时间：
2019-03-04 13:05:28
阅读次数：
1341
郑重声明：本项目旨在学习Scrapy爬虫框架和MongoDB数据库，不可用于其他不正当的事情与商业。若使用不当产生任何不好的后果，以及法律责任，均由个人承担！！！ 在本次项目当中，我们将会用到PornHubBot项目，该项目主要是用来爬取全球最大的小电影网站PornHub的视频标题、时长、mp4链接 ...
分类：
编程语言 时间：
2018-12-25 15:11:52
阅读次数：
434
