作用 保存执行job任务节点的执行日志 将多个节点执行map任务的日志和最终reduce日志聚合在一起 在mapred-site.xml中添加配置 1 <property> 2 <name>mapreduce.jobhistory.address</name> 3 <value>hostname:1 ...
分类：
其他好文 时间：
2020-04-18 15:52:26
阅读次数：
80
前言 距离上次初了解小程序结束已经20天了，因为公司项目催的急，所以会再安排一个前端来和我一起做项目。 所以为了让他快速上手小程序，并对项目结构有所了解，我写了一个开发指南。后来一想，顺便再把项目的初始化模板再做出来。 在这个新开的项目里，有一些初次尝试的东西。如eslint、pug、BEM，尽量将 ...
分类：
其他好文 时间：
2020-04-16 22:46:08
阅读次数：
92
一、IP去重示例 数据文件： 192.168.10.111 192.168.10.111 10.32.100.111 192.168.21.111 192.168.10.112 192.168.10.111 192.168.11.111 192.168.12.112 192.168.11.111 I ...
分类：
移动开发 时间：
2020-04-16 00:26:29
阅读次数：
112
模板编译 模板在编译成render函数时候会经过下面一系列流程： parseText 主要在parseText函数解析文本 _f函数就是resolveFilter函数 resolveAsset就是取出我们在组件中定义在filters里面的test函数,由此可见当我们在定义filter函数中this是 ...
分类：
其他好文 时间：
2020-04-15 18:40:56
阅读次数：
79
es 可以组合查询 must：查询必须匹配搜素条件 比如数据库中的and should ：查询 至少 满足条件 比如数据库中的or must_not: 不匹配查询条件，一个都不要满足 must must_not should 至少要包含一个条件 复合查询 ...
分类：
编程语言 时间：
2020-04-14 22:15:06
阅读次数：
100
HSF 概述 高速服务框架 HSF (High-speed Service Framework)，是在阿里巴巴内部广泛使用的分布式 RPC 服务框架。 HSF 联通不同的业务系统，解耦系统间的实现依赖。HSF 从分布式应用的层面，统一了服务的发布/调用方式，从而帮助用户可以方便、快速的开发分布式应用 ...
分类：
其他好文 时间：
2020-04-14 21:02:14
阅读次数：
148
一.第一步 创建XssAndSqlHttpServletRequestWrapper包装器，这是实现XSS过滤的关键， 在其内重写了getParameter，getParameterValues，getHeader等方法，对http请求内的参数进行了过滤。 package com.demo.comm ...
分类：
数据库 时间：
2020-04-14 19:05:49
阅读次数：
84
什么是Zuul？ Zuul是Netflix开源的微服务网关。 Zuul可以和Eureka、Ribbon、Hystrix等组件配合使用。 Zuul的核心是一系列的过滤器，可以完成以下功能。 身份认证和安全：识别每个资源的验证请求，并拒绝那些与要求不符的请求。 审查与监控：在边缘位置追踪有意义的数据和统 ...
分类：
编程语言 时间：
2020-04-14 16:42:35
阅读次数：
69
爬虫5 scrapy框架2 全站爬取cnblogs, scarpy请求传参, 提高爬取效率, 下载中间件, 集成selenium, fake-useragent, 去重源码分析, 布隆过滤器, 分布式爬虫, java等语言概念补充, bilibili爬视频参考
1 全站爬取cnblogs # 1 scrapy startproject cnblogs_crawl # 2 scrapy genspider cnblogs www.cnblogs.com 示例： # cnblogs_crawl/cnblogs_crawl/spiders/cnblogs.py ...
分类：
编程语言 时间：
2020-04-13 01:13:46
阅读次数：
117
在Redis的缓存穿透中了解到布隆过滤器，不禁想来了解一番其奇妙之处 1. 布隆过滤器的作用 判断传入数据是否已经存在，由这个基本功能可以泛生出： 防止Redis缓存穿透 海里数据去重 垃圾邮件过滤 2. 什么是布隆过滤器 布隆过滤器（Bloom Filter）是1970年由一个叫布隆的人提出的，它 ...
分类：
其他好文 时间：
2020-04-13 00:18:55
阅读次数：
72
