四周爬虫课第二周的练习，爬取赶集网二手物品下所有物品的信息。大致思路：1、爬取频道页url；2、爬取商品详情页url，写入mongodb，url_list表；3、从url_list表读取url，爬取商品信息，写入mongodb，p_info表分成3个py文件：1、channel_url.py，获取频 ...
分类：
其他好文 时间：
2020-03-21 16:15:30
阅读次数：
85
docker安装MongoDB 查找mongoDB的镜像 下载mongo镜像 查看本地是否mongo的镜像 运行容器，将端口映射到宿主机的27017端口 创建Maven工程（IDEA） 添加依赖（Spring测试依赖、SpringData MongoDB依赖） resource目录下创建mongo. ...
分类：
数据库 时间：
2020-03-21 15:04:36
阅读次数：
72
flask-session 作用：将默认保存的签名cookie中的值 保存到 redis/memcached/file/Mongodb/SQLAlchemy 安装：pip3 install flask-session 使用方式一 from flask import Flask,session fro ...
分类：
其他好文 时间：
2020-03-21 10:07:42
阅读次数：
61
1.配置MongoDB的yum源 创建yum源文件： #cd /etc/yum.repos.d #vim mongodb-org-4.0.repo 添加以下内容：（我们这里使用阿里云的源） [mngodb-org] name=MongoDB Repository baseurl=http://mir ...
分类：
数据库 时间：
2020-03-20 22:20:56
阅读次数：
72
本人免费整理了Java高级资料，涵盖了Java、Redis、MongoDB、MySQL、Zookeeper、Spring Cloud、Dubbo高并发分布式等教程，一共30G，需要自己领取。传送门：https://mp.weixin.qq.com/s/osB-BOl6W-ZLTSttTkqMPQ 1 ...
分类：
其他好文 时间：
2020-03-20 19:54:36
阅读次数：
56
一、在mongo.exe中的命令： mongodb4.2版本，bin目录下，双击mongo.exe，在”>”的命令提示下，我们可以输入一些命令： > show dbs #查看有哪些db > use local #切换到local数据库 > show collections #查看当前所有集合 > d ...
分类：
数据库 时间：
2020-03-20 15:37:52
阅读次数：
72
Python爬取新笔趣阁小说，并保存到TXT文件中 我写的这篇文章，是利用Python爬取小说编写的程序，这是我学习Python爬虫当中自己独立写的第一个程序，中途也遇到了一些困难，但是最后迎刃而解了。这个程序非常的简单，程序的大概就是先获取网页的源代码，然后在网页的源代码中提取每个章节的url，获 ...
分类：
编程语言 时间：
2020-03-20 10:56:07
阅读次数：
67
-upsert --upsertFields 可以实现mongodb按照指定字段去重，但是导入数据很慢 mongoimport --host 127.0.0.0.1 --port 27017 --username root --password root --collection info --db ...
分类：
其他好文 时间：
2020-03-20 10:49:29
阅读次数：
61
1、从Docker Hub上获取镜像 docker pull mongo:3.2docker images 2、启动容器 mongoDB 的数据文件目录为：/data/db docker run -p 27017:27017 -v /opt/mongo/config/:/data/configdb ...
分类：
数据库 时间：
2020-03-20 00:35:05
阅读次数：
74
鸡兔同笼问题。假设共有鸡、兔30只，脚90只、求鸡、兔各有多少只 使用for循环快速解决鸡兔同笼问题 for ji in range(0,31): if 2*ji+(30-ji)*4==90: print("鸡:",ji,"兔:",30-ji) ...
分类：
编程语言 时间：
2020-03-19 21:44:48
阅读次数：
272
