今天有人说可以利用 html 页面的中 meta 标签来屏蔽搜索引擎蜘蛛的抓取或不让蜘蛛抓取网页中的其它链接,本着好奇的精神,就查了一些相关的资料,发现了一串类似 <meta name='robots' content='noindex,nofollow' /> 这样的HTML代码,可以告诉来网页爬 ...
分类:
Web程序 时间:
2020-09-04 17:26:50
阅读次数:
57
Hive是大数据领域常用的组件之一,主要用于大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解
分类:
其他好文 时间:
2020-09-04 16:58:58
阅读次数:
42
Intezer研究人员发现一款利用无文件技术来绕过检测的Linux恶意软件——Doki。自2020年1月14日上传到VirusTotal后,先后有60个恶意软件检测引擎对其就进行了检测分析。Doki成功绕过了这些引擎的检测,其***的目标主要是公有云平台上的Docker服务器,包括AWS、Azure和阿里云。Docker是Linux和Windows平台的一种PaaS解决方案,开发者利用它可以在隔离的
分类:
系统相关 时间:
2020-09-04 16:57:17
阅读次数:
53
主攻个人数据分布式存储的HDFS的优势在哪?互联网的纪元中,数据就是一切,互联网环境下任何人的一切活动都会在网络中留下属于自己的印迹—数据碎片,这些我们不经意间留下的数据碎片如果被有心人收集、利用起来会对我们个人的兴趣爱好甚至是隐私产生不利的影响。不知道你有没有这样的体验,当你用搜索引擎了解某种商品之后,某些电商平台会给你不断的推送类似的商品,显然这不是巧合而是你的某些数据“出卖”了你的意图。随着
分类:
其他好文 时间:
2020-09-02 16:46:50
阅读次数:
47
JVM组成 从图上看到,大致分为以下组件: 类加载子系统 运行时数据区 执行引擎 本地方法库 本地库接口 本地库接口也就是用于调用本地方法的接口,这次就不多说,主要是上面的4个组件。 类加载子系统 类加载子系统的作用 类加载子系统负责从文件系统或网络中加载class文件,class文件在文件开头又特 ...
分类:
其他好文 时间:
2020-08-31 13:22:50
阅读次数:
46
1.Recipient List 接收者列表 介绍:怎么使用条件判断向若干可能的路由路径中的某一条路径传送消息。 那么如何做到根据判断条件,向若干可能的路径中的其中多条路径传送同一条消息呢? 又或者向若干条可能的路径全部传输同一条消息呢? 在Camel中可能被选择的消息路由路径称为接收者,Camel ...
分类:
Web程序 时间:
2020-08-29 15:25:08
阅读次数:
114
cratedb 4.2 已经发布了,从changelogs 可以看到还是有比较多的更新的,比如pg 协议更好的兼容(更好的支持bi以及数据分析工具) 同时提供了更好的pg内部结构的暴露(还是方便数据分析工具的使用),同时替换nashorn 为graalvm 的js 引擎(更好的js 特性支持) 同时 ...
分类:
数据库 时间:
2020-08-29 15:12:58
阅读次数:
67
上一篇文章ElasticSearch术语中提到了倒排索引,那么这篇文章就来讲解下什么是倒排索引,倒排索引的数据结构以及ElasticSearch中的倒排索引。倒排索引倒排索引(InvertedIndex)也常被称为反向索引,是搜索引擎中非常重要的数据结构,为什么说它重要呢,我们首先拿一本书《重构改善既有代码的设计》举个例子:如果一本书没有目录的话,理论上也是可以读的,只是合上书下次再次阅读的时候,
分类:
其他好文 时间:
2020-08-28 11:58:21
阅读次数:
49
本篇文章主要是手把手教你搭建ELK实时日志分析平台,那么,ELK到底是什么呢?ELK是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash和Kibana。Elasticsearch是一个搜索和分析引擎。Logstash是服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到诸如Elasticsearch等存储库中。Kibana则可以让用户在
分类:
其他好文 时间:
2020-08-28 11:57:17
阅读次数:
289
本文主要介绍什么是ElasticSearch以及为什么需要它,如何在本机安装部署ElasticSearch实例,同时会演示安装ElasticSearch插件,以及如何在本地部署多实例集群,方便在日后学习分布式相关原理。什么是ElasticSearch?ElasticSearch是一个基于Lucene的搜索服务器,它提供了一个分布式多用户能力的全文搜索引擎,基于RESTfulweb接口。Elasti
分类:
其他好文 时间:
2020-08-28 11:56:53
阅读次数:
55