import com.alibaba.fastjson.JSON; import redis.clients.jedis.Jedis; import com.alibaba.fastjson.JSONObject; import java.util.HashMap; import com.googl ...
分类：
数据库 时间：
2020-09-18 02:52:16
阅读次数：
46
要求：有一个生产者，可以依次生产[0, 100)这100个数字，有5个消费者进行消费，消费者是并发的。 package main import ( "fmt" "sync" "time" ) func main() { wg := sync.WaitGroup{} wg.Add(20) c := m ...
分类：
其他好文 时间：
2020-09-18 02:18:26
阅读次数：
27
1、为了解决“生产者与消费者问题”。 当一些线程负责往“数据缓冲区”放数据，另一个线程负责从“数据缓冲区”取数据。 问题1：生产者线程与消费者线程使用同一个数据缓冲区，就是共享数据，那么要考虑同步 问题2：当数据缓冲区满的时候，生产者线程需要wait()， 当消费者消费了数据后，需要notify或n ...
分类：
编程语言 时间：
2020-09-18 02:18:09
阅读次数：
44
一、爬虫定义 简单说的话，爬虫就像一个虚拟的虫子，然后利用这只虫子，我们可以在网上获取到我们想要的信息。 二、爬虫的工作原理 浏览器工作原理 一般情况下，我们获取数据都是打开浏览器，然后搜索关键字，浏览器去工作，然后显示出来我们要的数据，我们再进行复制粘贴或者其他操作。 类似于下图 这里的客户端是我 ...
分类：
编程语言 时间：
2020-09-18 01:50:15
阅读次数：
40
内置支持 selecting and extracting 使用扩展的CSS选择器和XPath表达式从HTML/XML源中获取数据，并使用正则表达式提取助手方法。 interactive shell console （ipython-aware）用于尝试使用css和xpath表达式来获取数据，在编写 ...
分类：
编程语言 时间：
2020-09-18 01:28:40
阅读次数：
35
现如今，Kafka已不再是一个单纯的消息队列系统。Kafka是一个分布式的流处理平台，被越来越多的公司使用，Kafka可以被用于高性能的数据管道，流处理分析，数据集成等场景。本文分享总结了几个Kafka常见的面试问题，希望对你有所帮助。主要包括以下内容：Kafka是如何保障数据不丢失的？如何解决Kafka数据丢失问题？Kafka可以保障永久不丢失数据吗？如何保障Kafka中的消息是有序的？如何确定
分类：
其他好文 时间：
2020-09-17 23:41:36
阅读次数：
33
现在网络爬虫抓取数据的技术已经越来越成熟，使用HTTP让爬虫技术的效率越来越高。但爬虫对被抓取网站没有任何好处，所以设置了反爬虫机制，就要想办法来解决。那么，怎么绕过反爬虫机制?1、模拟正常用户。反爬虫机制还会利用检测用户的行为来判断，例如Cookies来判断是不是有效的用户。2、动态页面限制。有时候发现抓取的信息内容空白，这是因为这个网站的信息是通过用户的XHR动态返回内容信息。解决这种问题就要
分类：
其他好文 时间：
2020-09-17 21:39:30
阅读次数：
28
参考链接： https://github.com/CyC2018/CS-Notes https://blog.csdn.net/qq_29677867/article/details/91038642 https://www.jianshu.com/p/a805e2410fbe https://ww ...
分类：
其他好文 时间：
2020-09-17 21:19:04
阅读次数：
57
汽车三维扫描,汽车逆向,汽车抄数汽车三维扫描逆向抄数解决方案对于设计师来说，将整车直接正向画图往往难度较大，不仅费时费力，而且关键设计的曲面弧度等都很难把控。但是目前越来越普及的三维扫描逆向技术
分类：
其他好文 时间：
2020-09-17 20:20:51
阅读次数：
30
大数据分析平台的搭建有利于帮助企业构建统一的数据存储和数据处理资源，围绕企业业务开展大数据应用建设，最终形成面向服务化的数据资产。而今天我们就来了解一下，常见的大数据平台都包含哪些层次？ 1、数据采集层：分3个层面的采集技术进行支持，一是传统业务系统数据库和半结构化、结构化数据的采集和集成，如采用Sqoop技术进行关系数据库和Hadoop系统之间的数据抽取和交换;二是交通实时流数据的采集，包
分类：
其他好文 时间：
2020-09-17 20:18:31
阅读次数：
34
