html 爬虫基础 概念 模拟浏览器发送网络请求，获取响应 分类 通用爬虫 搜索引擎的爬虫，面对整个互联网上所有的网站 聚焦爬虫 针对特定网站的爬虫 分类标准：爬虫爬取的范围 流程 1.url 2.发送请求，获取响应 (提取url地址，发送下一次请求) 3.提取数据 保存 rebots协议 道德层面 ...
分类：
其他好文 时间：
2020-04-20 01:32:33
阅读次数：
90
01-Python 零基础入门爬虫开发-爬虫简介 一 什么是爬虫? 网络爬虫(网络蜘蛛 网络机器人) 就是模拟浏览器去访问和获取互联网上信息的一个程序 二 爬虫的分类 通用网络爬虫 百度 谷歌 雅虎... 搜索引擎 特点:关键字获取既定目标 覆盖率很大 聚焦网络爬虫 特点:到互联网上有选择有目的的去 ...
分类：
编程语言 时间：
2020-04-17 18:29:06
阅读次数：
79
分词技术就是搜索引擎针对用户提交查询的关键词串进行的查询处理后根据用户的关键词串用各种匹配方法进行分词的一种技术。 中文分词（Chinese Word Segmentation）指的是将一个汉字序列（句子）切分成一个一个的单独的词，分词就是将连续的字序列按照一定的规则重新组合成词序列的过程。 现在分 ...
分类：
编程语言 时间：
2020-04-17 11:06:53
阅读次数：
98
当业务量上升后，由于mysql对全文检索或模糊查询支持的能力不强，在系统中查询的地方，往往会出现慢sql等，拖累系统其他模块，造成性能低下。随着ES使用普及率的升高，ES是mysql的一个有效补充。我们可以将数据发送到搜索引擎（如ES）上，由搜索引擎来提供专业的服务。接下来，就结合工作中实际用到的场 ...
分类：
数据库 时间：
2020-04-16 19:38:19
阅读次数：
243
一、世界编程语言排行榜TIOBE编程语言排行榜是编程语言流行趋势的一个指标，每月更新，这份排行榜排名基于互联网有经验的程序员、课程和第三方厂商的数量。排名使用著名的搜索引擎（诸如Google、MSN、Yahoo!、Wikipedia、YouTube以及Baidu等）进行计算。请注意这个排行榜只是反映某个编程语言的热门程度，并不能说明一门编程语言好不好，或者一门语言所编写的代码数量多少。
分类：
编程语言 时间：
2020-04-16 10:29:20
阅读次数：
240
1. es基础 1.1 es定义 Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口 es相当于数据库，没有数据格式约束。 1.2 ES数据架构的主要概念（与关系数据库Mysql对比） （1）关系型数据库中的数据库 ...
分类：
其他好文 时间：
2020-04-15 23:03:14
阅读次数：
165
基础概念 Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大量日志数据，也可用于搜索许多不同类型的文档。 Beats 是数据采集的得力工具。将 Beats 和您的容器一起置于服务器上，或者将 Beats 作为函数加以部署，然后便可在 ...
分类：
Web程序 时间：
2020-04-14 20:38:18
阅读次数：
227
通用爬虫和聚焦爬虫根据使用场景，网络爬虫可分为通用爬虫和聚焦爬虫两种.通用网络爬虫是捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分。主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。通用网络爬虫从互联网中搜集网页,采集信息,这些网页信息用于为搜索引擎建立索引从而提供支持,它决定着整个引擎系统的内容是否丰富,信息是否即时,因此其性能的优劣直接影响着搜索引擎
分类：
编程语言 时间：
2020-04-13 22:44:50
阅读次数：
125
一个明确的目标（核心价值） 如果只想做一个网站，却不知道该做什么，那我建议你做一个博客，或者不做网站。 一个好的开始（域名） 要想让搜索引擎和主流app待见，就要选择主流后缀，如.com，.net，.cn这三个后缀在国内服务商网站注册，需要实名认证，如果需要解析到国内服务器，还需要备案，有些后缀不支 ...
分类：
Web程序 时间：
2020-04-11 18:29:52
阅读次数：
82
< meta > 元素 概要 标签提供关于HTML文档的元数据。元数据不会显示在页面上，但是对于机器是可读的。它可用于浏览器（如何显示内容或重新加载页面），搜索引擎（关键词），或其他 web 服务。 —— W3School 必要属性 属性 值 描述 content some text 定义与http ...
分类：
Web程序 时间：
2020-04-11 10:00:32
阅读次数：
130
