使用selenium模拟浏览器进行数据抓取无疑是当下最通用的数据采集方案，它通吃各种数据加载方式，能够绕过客户JS加密，绕过爬虫检测，绕过签名机制。它的应用，使得许多网站的反采集策略形同虚设。由于selenium不会在HTTP请求数据中留下指纹，因此无法被网站直接识别和拦截。 这是不是就意味着sel ...
分类：
Web程序 时间：
2019-03-26 15:23:51
阅读次数：
493
互斥与同步的信号量关系 1.1软件 1.2硬件 屏蔽中断 机器指令（test set） 如果任何期间都可以中断就不是硬件 缺点 盲等占用处理器的时间 饥饿现象 死锁 1.3信号量 semaphores 进程之间用来通信的标志 有进程要等待信号量的话就阻塞自己 等待和信号量都不可中断 有一个队列 wa ...
分类：
其他好文 时间：
2019-03-25 20:46:47
阅读次数：
210
对开发库的C#封装，屏蔽使用细节，可以快速安全的调用人脸识别相关API。具体见github地址。新增对.NET Core的支持，在Linux（Ubuntu下）测试通过。具体的使用例子和Demo详解，参见博客地址。 更新： 增加对V1.1两个新功能的支持。 关于人脸识别 目前的人脸识别已经相对成熟，有 ...
使用代理服务器去爬虫的原因： 使用同一个IP去爬取同一个网站上的网页，久了之后会被该网站服务器屏蔽。这个时候我们就可以使用代理服务器。因为使用代理服务器去爬取某个网站的时候，在对方的网站上，显示的不是我们真实的IP地址，而是代理服务器的IP地址。 推荐两个获取免费代理服务器的网址： www.goub ...
分类：
其他好文 时间：
2019-03-24 12:27:27
阅读次数：
401
只要子类中出现了和父类中同名的函数，父类中的所有这个名字的函数，就被屏蔽了。 静态函数成员也是如此？经过代码验证，确实如此。 ...
分类：
其他好文 时间：
2019-03-22 19:07:04
阅读次数：
128
I/O 相关简介 什么是I/O? IO，即Input （输入）和Output （输出）的首字母缩写。 什么是流？ 流（Stream）是抽象概念，它代表任何有能力产出数据的数据源对象或者是与能力接收数据的接收端对象，“流”屏蔽了实际的I/O设备中处理数据的细节。 流的种类 1.字符流 2.字节流 字符 ...
分类：
其他好文 时间：
2019-03-20 20:33:20
阅读次数：
171
注：以下讲述的按理环境场景是基于Kubernetes环境基础上部署的Istio环境。涉及到Envoy概念介绍请参考深度解析Istio系列之流量控制篇。本文重点针对Envoy初始化场景进行拆解。Istio-proxy（Envoy）作为Istio数据平面的重要组件，基于sidecar方式与业务应用混合部署到同一pod，为应用提供代理服务。Pilot作为控制平面组件，基于元数据的抽象层，屏蔽底层具体容器
分类：
其他好文 时间：
2019-03-20 11:54:48
阅读次数：
166
Redis的持久化有2种方式1快照2是日志Rdb快照的配置选项（内存中的快照写入磁盘速度更快）配置文件：save9001//900秒内,有1条写入,则产生快照save3001000//如果300秒内有1000次写入,则产生快照save6010000//如果60秒内有10000次写入,则产生快照(这3个选项都屏蔽,则rdb禁用)stop-writes-on-bgsave-erroryes//后台备份
分类：
数据库 时间：
2019-03-19 23:24:59
阅读次数：
230
1. 基本概念 jvm 是可运行Java代码的假想计算机，包括一套字节码指令集、一组寄存器、一个栈、一个垃圾回收堆和一个存储方法域。 jvm 是运行在操作系统之上的，屏蔽了与具体操作系统平台相关的信息，使得Java程序只需生成在 jvm 上运行的字节码，就可以在多种平台上不加修改地运行。 Java ...
分类：
其他好文 时间：
2019-03-18 01:09:04
阅读次数：
173
