Mongoose的使用 4.1简介 Mongoose是一个对象文档模型（ODM）库，它对Node原生的MongoDB模块进行了进一步的优化封装，并提供了更多的功能。 4.2优势 1) 可以为文档创建一个模式结构（Schema） 2) 可以对模型中的对象/文档进行验证 3) 数据可以通过类型转换转换为 ...
分类：
其他好文 时间：
2020-09-16 12:16:35
阅读次数：
30
文章目录 一、简介 二、原理 三、爬取实战 实例1 实例2 一、简介 很多人学习python，不知道从何学起。很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。很多已经做案例的人，却不知道如何去学习更加高深的知识。那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程， ...
分类：
编程语言 时间：
2020-09-16 12:06:14
阅读次数：
34
实现： 将日志保存在MongoDb中； 自定义日志字段； 日志按照日期拆分集合； 第一部分：将日志保存在MongoDb中 新建控制台程序Log4MongoDemo 通过NuGet安装Log4Net （v2.0.8）、log4mongo-net（v2.2.0） 项目根目录下添加log4net.conf ...
分类：
数据库 时间：
2020-09-15 21:10:23
阅读次数：
44
最近因需求需要，需要到京东爬取一些类别的商品信息。记录下过程中踩过的坑，最后奉献上全部代码。仅供互相学习，如有错误请指正~~ 京东网页翻页。京东的页面是打开时先加载前30个商品，浏览到下面时再加载另30个商品。加载前30个商品时 page=1，后30个商品时 page=2。所以京东的翻页可以用req ...
分类：
编程语言 时间：
2020-09-14 19:06:06
阅读次数：
50
Spring JPA 定义接口 翻译：Defining Repository Interfaces ? 首先，定义一个特定的实体类的存储库接口，这个接口必须继承自Repository并且绑定对应的实体类和主键ID类型。如果想要引用并使用该实体类的CRUD方法，要继承CrudRepository而不是 ...
分类：
编程语言 时间：
2020-09-11 15:46:53
阅读次数：
41
近几日在学习electron，electron主要是给前端开发人员使用的，可以开发跨平台的桌面端应用。 所有系统，无论是桌面端、Web端、移动端，可以简单理解为三层：终端显示层、中间业务逻辑层、数据存储层 桌面端、Web端、移动端，可以理解为显示层。 作为前端开发人员，常常和HTML、CSS、JS打 ...
分类：
其他好文 时间：
2020-09-10 22:58:06
阅读次数：
50
Aggregation 聚合操作处理数据记录并返回计算结果 聚合操作将来自多个文档的值进行分组，对分组的数据进行各种操作并返回单个结果 mongodb 提供了三种进行聚合操作的方法：聚合管道、map-reduce函数、single purpose 聚合 Aggregation Pipeline mo ...
分类：
数据库 时间：
2020-09-09 19:22:32
阅读次数：
69
1、需求 获取58同城上所有房源的标题信息https://bj.58.com/ershoufang/ 2、分析 使用抓包工具进行分析 发现所有的房源标题信息，均存在于ul属性class=house-list-wrap下的li标题中 用xpath形式写为：//ul[@class=“house-list ...
分类：
编程语言 时间：
2020-09-09 19:16:29
阅读次数：
70
前序 最近在研究反爬虫策略，写了一个大众点评评论采集的程序，途中遇到了一些坑有感而发分享给大家，大众点评是基于css机制实现的字体加密技术来阻碍我的进行准确数据的抓取 正文 图1 根据图1我们可以看出部分文字在源码中是无法得到正常显示的，对应的我们解析也只能得到一些无用的svg标签,且又由于文字本身 ...
分类：
编程语言 时间：
2020-09-04 17:42:55
阅读次数：
70
MongoDB -非关系型数据库 MongoDB数据库介绍 面向文档的数据库 {"foo":3,"greeting":"Hello World!"} 特点： 区分大小写 key唯一，不可重复 文档可嵌套 键值对是有序的 理解： 集合就是一组文档 文档类似于关系库里的行 集合类似关系库里的表 集合中的 ...
分类：
数据库 时间：
2020-09-04 17:36:28
阅读次数：
68
