以下文字版根据《大咖·来了》第3期《海量日志分析与智能运维》整理，回放链接：http://aix.51cto.com/activity/10011.html?dk=wz一、AIOps与智能日志中心1.1AIOps五等级要说智能日志中心，首先要了解什么是智能运维。目前业界对智能运维的运用，主要分为如下五个等级。一级是最容易的，只要你有个想法试试就行，到网管监控系统里，拿一个监控指标的曲线下来，就可以
分类：
其他好文 时间：
2020-01-17 11:30:03
阅读次数：
73
算法第三章 布隆过滤器 + 海量数据管理 ，在哈希表上再压缩数据， 但会存在较低的失误率 + 失误类型：宁可错杀三千不可错放一个，非存储数据小概率判断为存储数据 + bit位数组存储：eg. int数组每位存储0~31位bit数组 + 思想：准备k个哈希函数，哈希值取模bit数组大小m，每个键经过记 ...
分类：
编程语言 时间：
2020-01-16 19:09:06
阅读次数：
84
随着医疗卫生信息系统的不断完善和数据的持续积累，健康医疗领域已向“大数据时代”高速迈进。医疗健康大数据具有规模大、增速快，结构多样、潜在应用价值高等特点。面对海量的数据，如何基于创新理念和技术，开启人类应对疾病的新篇章，推动医学科学发展，促进全球健康，已成为国内外共同关注的大课题。“碎片化”的大数据应用底层基础在可以预见的中近期，医疗大数据发展主要会在三个方向：——推动医疗数据的信息化。进一步推动
分类：
其他好文 时间：
2020-01-16 16:05:35
阅读次数：
116
【遇到问题】 手头原来有一个单进程的linux epoll服务器程序，近来希望将它改写成多进程版本，主要原因有： 在服务高峰期间 并发的 网络请求非常海量，目前的单进程版本的程序有点吃不消：单进程时只有一个循环先后处理epoll_wait()到的事件，使得某些不幸排队靠后的socket fd的网络事 ...
分类：
其他好文 时间：
2020-01-16 14:23:20
阅读次数：
88
大数据挖掘技术在电网状态监测与诊断中的应用 吴振扬（ 国网吉林省电力有限公司 , 吉林 长春 130000）[ 摘要 ] 大数据是目 前国内外各个领域的一个研究应用热点。 本文基于大数据技术， 阐述了 大数据技术对于电网发展的重要意义，大数据挖掘技术的发展状况； 分析了 大数据挖掘技术的几种算法特点 ...
分类：
其他好文 时间：
2020-01-15 19:50:43
阅读次数：
71
数据库主从复制，读写分离，分库分表，分区讲解 https://database.51cto.com/art/202001/608852.htm讲解的挺好的 需要仔细学习一下呢. 随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数 ...
分类：
数据库 时间：
2020-01-14 09:23:35
阅读次数：
101
1. ES集群安装 准备1台虚拟机 部署elasticsearch第一个节点 访问9200端口查看是否安装成功 1ELK是日志分析平台，不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写，ELK分别代表： Elasticsearch:负责日志检索和储存 Logstash:负责日志的收集和分 ...
分类：
其他好文 时间：
2020-01-13 10:51:29
阅读次数：
82
1分布式事务背景随着分布式数据库技术的发展越来越成熟，业内对于分布式数据库的要求也由曾经只用满足解决海量数据的存储和读取这类边缘业务向核心交易业务转变。分布式数据库如果要满足核心账务类交易需求，则其需要完善分布式事务，向传统关系型数据库看齐。即分布式事务的实现也需要像传统关系型数据库的事务一样满足事务的标准要求及定义，即ACID特征。分布式数据库的数据是进行多机器多节点分散存储的，这样的存储架构为
分类：
数据库 时间：
2020-01-10 18:54:16
阅读次数：
118
MongoDB 是文档类数据库（json），是海量级数据存储的数据库 被称为最像关系型数据库的NoSQL 第一章：逻辑结构 MongoDB 逻辑结构 MySQL逻辑结构 库database 库 集合 表 文档 数据行 第二章： 安装部署 1.系统准备 （1） redhat或centos6.2 以上系 ...
分类：
数据库 时间：
2020-01-10 18:31:47
阅读次数：
89
1、hadoop 大数据框架 Hadoop 是一个应用Java语言实现的软件框架，廉价的计算机组成的集群运行海量数据的分布式并行计算框架，支持上千个节点和PB级别的数据。Hadoop是项目的总称 分布式： 大数据： 指无法在一定时间范围内用常规软件工具进行捕捉，管理和处理的数据集合。 1024MB= ...
分类：
其他好文 时间：
2020-01-10 12:33:49
阅读次数：
80
