背景分析 随着平安城市、智慧城市、雪亮工程、智能交通等各项建设的持续开展，安防逐渐得到普及，面对如此广阔的市场，对安防企业来说不仅仅是机遇更多的是挑战。现今大多数摄像头一直没能摆脱人工监控的传统监控方式，由此导致了大量视频数据堆积占用存储资源、实时性差、检索困难等问题，海量摄像头带来的海量视频数据检 ...
分类：
Web程序 时间：
2019-11-04 14:02:02
阅读次数：
166
二叉查找树是将一组无序的数据构建成一颗有序数据的树，其设计思想与二分法类似。很好的提高了海量数据查找效率，使得由从头遍历到尾的方式转为二分查找的方式，时间复杂度从O(n)降低为O(log(n))。 ...
分类：
其他好文 时间：
2019-11-03 23:56:19
阅读次数：
137
一、概述1、什么是hive?由Facebook开源用于解决海量结构化日志的数据统计。是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质上其实就是将HQL/SQL转化为MapReduce或者spark任务执行，然后返回结果。有以下几个本质：1）Hive处理的数据存储在HDFS。默认在在/user/hive/warehouse/<databas
分类：
其他好文 时间：
2019-11-03 14:40:54
阅读次数：
85
大数据是对海量数据存储、计算、统计、分析等一系列处理手段，处理的数据量是TB级，甚至是PB或EB级的数据，是传统数据处理手段无法完成的，大数据涉及分布式计算、高并发处理、高可用处理、集群、实时性计算等等，汇集的是IT最热门、最流行的IT技术，大数据是机器学习、深度学习、AI等尖端可以领域的基础架构。 ...
分类：
其他好文 时间：
2019-11-03 12:27:52
阅读次数：
101
Infortrend推出两款全新一代的存储解决方案：统一存储EonStorGSGen2和全闪存EonStorGSaGen2，NAS性能提高60％以上。性能上的提高，让新的存储系统能够适应更为严苛的应用环境，尤其更有能力应对数据密集型应用。更重要的是，GSGen2综合实力全面提升，同等价位上使用价值更高，给予用户更多的竞争优势。GS/GSaGen2升级的方面包括:?新一代Intel处理器推动性能高达
分类：
其他好文 时间：
2019-11-01 14:27:53
阅读次数：
99
MySQL的性能和负载情况有很多指标，各个版本的指标也有区别，但核心的、对运维可以快速定位的指标就那几个常用的。做一个监控系统，特别是海量数据库实例的监控系统个，每多一个监控指标，对监控系统的要求就会更高。还有对于不同人员的监控，监控的指标和频率也是不一样的，运维人员、研发人员、测试人员，使用监控的角色不同，需要的监控指标也不同。不是监控的指标越多越好，够用就行，监控指标很多，只监控平时用的，不用
分类：
数据库 时间：
2019-10-31 21:31:44
阅读次数：
102
当今时代，企业数据越发膨胀。数据是企业的价值，但数据处理也是一种技术挑战。在海量数据处理的场景，即使单机计算能力再强，也无法满足日益增长的数据处理需求。所以，分布式才是解决该类问题的根本解决方案。而在分布式领域，有两类典型产品，分别是分布式存储和分布式计算。用户只有将两者的特性充分利用，才可以真正发 ...
分类：
数据库 时间：
2019-10-31 18:07:32
阅读次数：
126
本文源码：GitHub·点这里||GitEE·点这里一、ClickHouse简介1、基础简介Yandex开源的数据分析的数据库，名字叫做ClickHouse，适合流式或批次入库的时序数据。ClickHouse不应该被用作通用数据库，而是作为超高性能的海量数据快速查询的分布式实时处理平台，在数据汇总查询方面(如GROUPBY)，ClickHouse的查询速度非常快。下载仓库：https://repo
分类：
数据库 时间：
2019-10-29 00:24:35
阅读次数：
128
1.概述 HBase是一款非关系型、分布式的KV存储数据库。用来存储海量的数据，用于键值对操作。目前HBase是原生是不包含SQL操作，虽然说Apache Phoenix可以用来操作HBase表，但是需要集成对应的Phoenix依赖包到HBase集群中，同时需要编写对应的Schema才能实现SQL操 ...
分类：
其他好文 时间：
2019-10-27 15:06:08
阅读次数：
149
最近工作需要对提取的矢量图斑进行平滑（shp格式），所以就对这里进行了一点小小的研究，主要是对Chaikin-curve算法进行改进，其实还有很多优秀的算法可以拿来用，迫于时间，就没有继续深入， 这篇博客，权当是抛砖引玉，希望真正搞平滑算法的”同志们“，能够展示出自己真正的优秀算法。我们知道，当多边 ...
分类：
其他好文 时间：
2019-10-26 23:23:18
阅读次数：
197
