一，kafka是什么 kafka是一个分布式的发布-订阅消息系统，能够支持海量的数据传递，在高效和实时的消息处理业务系统中，kafka都有广泛应用，kafka将消息持久化到磁盘中，并且创建了备份保存了数据的安全，kafka在保证了较高的处理速度的同时，又能保证数据处理的低延迟和数据的零丢失。 二，特 ...
分类：
其他好文 时间：
2020-07-13 11:53:56
阅读次数：
60
科技公司飞速发展和数字科技日益重要的今天，万物互联、人工智能的时代业已到来，海量数据资产被创造出来并亟待分析，从而衍生出了很多前所未有的业务需求，而大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。未来，更多人将学会分析数据，并将数据的洞察运用到工作和生活中的方方面面。什么是大数据大数据，IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处
分类：
其他好文 时间：
2020-07-12 16:30:47
阅读次数：
87
对于海量的数据处理问题是一项艰巨而复杂的任务。原因有以下几个方面： 一、数据量过大，数据中什么情况都可能存在 如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什 ...
分类：
数据库 时间：
2020-07-12 12:12:37
阅读次数：
80
选择排序 是一种简单直观的排序算法，它也是一种交换排序算法，和冒泡排序有一定的相似度，可以认为选择排序是冒泡排序的一种改进。 表现最稳定的排序算法之一，因为无论什么数据进去都是O(n2)的时间复杂度，所以用到它的时候，数据规模越小越好。 原理 首先在未排序序列中找到最小（大）元素，存放到排序序列的起 ...
分类：
编程语言 时间：
2020-07-11 22:56:06
阅读次数：
65
1、集群是什么？ 1 集群（cluster）技术是一种较新的技术，通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是集群系统中的核心技术。 2 集群组成后，可以利用多个计算机和组合进行海量请求处理（负载均衡），从而获得很高的处理效率，也可以用多个计 ...
分类：
其他好文 时间：
2020-07-10 13:20:06
阅读次数：
120
没想到吧，Python 又拿第一了！ 在 Google 公布的编程语言流行指数中，Python 依旧是全球范围内最受欢迎的技术语言！ 01 为什么 Python 会这么火？ 核心还是因为企业需要用它！因为其易用、逻辑简单并拥有海量扩展包等特性，不仅成为了 AI 的首选语言，而且在数据分析、Web、爬 ...
分类：
编程语言 时间：
2020-07-09 15:14:29
阅读次数：
86
虽然抄表、停车、井盖监测等应用是最为常见的示范，但若低功耗广域网络仅限于这几个领域，则整个产业的规模就显得太小了。实际上，经过近两年的探索，目前示范应用的数量已有数十个，分布在各行各业，带来了大量的机遇。不过和物联网其他方案一样，低功耗广域网络也面对这海量的长尾需求方，需要不断地去满足各种碎片化的需 ...
分类：
其他好文 时间：
2020-07-07 18:13:00
阅读次数：
407
先来看一下都有哪些题目： 如何从大量的 URL 中找出相同的 URL？（百度） 如何从大量数据中找出高频词？（百度） 如何找出某一天访问百度网站最多的 IP？（百度） 如何在大量的数据中找出不重复的整数？（百度） 如何在大量的数据中判断一个数是否存在？（腾讯） 如何查询最热门的查询串？（腾讯） 如何 ...
分类：
其他好文 时间：
2020-07-07 13:30:40
阅读次数：
117
###问题描述 在大规模数据处理中，经常会遇到的一类问题就是在海量数据中找出出现频率最高的前K个数，或者从海量数据中找出最大的前K个数，这类问题通常被称为top K问题。 ###问题解答 针对top K类问题，通常比较好的方案是分治＋Trie树/hash+小顶堆，即先将数据集按照hash方法分解成多 ...
分类：
其他好文 时间：
2020-07-05 21:29:51
阅读次数：
70
?大数据的概念 大数据 (BigData) :指无法在一 定时间范围内用常规软件 工具进行捕捉、 管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 主要解决，海量数据的存储和海量数据的分析计算问题。 大数据特点 大量、高速、多样 ...
分类：
其他好文 时间：
2020-07-05 19:03:04
阅读次数：
87
