Hulu如何扩展InfluxDB使其支持每秒百万TPS导读:InfluxDB是最常用的时间序列数据库之一,大家广泛使用其开源版本。然而其开源版本缺乏一些高可用相关的特性,本文介绍Hulu在使用InfluxDB的过程中碰见的问题和解决方案,十分值得一读。随着Hulu的持续增长,时间序列数据库已成为公司监控系统的关键部分。这可以像机器性能指标或应用程序本身的数据一样简单处理。由于我们拥有的数据量很大,
分类:
数据库 时间:
2020-11-08 16:34:38
阅读次数:
26
在hive的日常使用中,经常需要将hive表中的数据导出来,虽然hive提供了多种导出方式,但是面对不同的数据量、不同的需求,如果随意就使用某种导出方式,可能会导致导出时间过长,导出的结果不满足需求,甚至造成集群资源不必要的浪费。因此本文主要对hive支持的几种导出方式的使用进行整理,并给出每种导出 ...
分类:
其他好文 时间:
2020-11-07 17:31:45
阅读次数:
24
机器学习平台痛点与模型提升方法:基于Spark的机器学习平台在点融网风控应用介绍编者按:大数据和机器学习是近年来快速增长的热门领域,各个领域的数据量和数据规模都以惊人的速度增长。本文是近期举行的架构实践日点融网刘利就“机器学习平台在点融网业务的应用介绍”这一话题的精彩分享。作者简介:刘利,点融网DataScientistTeam负责人,从事互联网数据分析和数据挖掘近十年。现任点融网DataScie
分类:
其他好文 时间:
2020-11-07 15:58:21
阅读次数:
20
一、数据库优化 一般来说,当一个请求超过200ms,就需要优化了,当前这不是绝对的标准,具体看业务场景。 sql优化一般包括 1、是否命中索引 2、设计是否合理 3、关联查询是否合理 实在数据量大,只能在拆分了。如果需要同时插入许多数据,尽可能使用 BulkCopy 操作以提升性能。 使用云数据库的 ...
分类:
其他好文 时间:
2020-11-07 15:50:06
阅读次数:
16
文章目录 学习之前先了解下分库分表概念:https://spiritmark.blog.csdn.net/article/details/109524713 一、ShardingSphere简介 在数据库设计时候考虑垂直分库和垂直分表。随着数据库数据量增加,不要马上考虑做水平切分,首先考虑缓存处理, ...
分类:
其他好文 时间:
2020-11-07 15:48:46
阅读次数:
20
前言最近对外接口偶现504超时问题,原因是代码执行时间过长,超过nginx配置的15秒,然后真枪实弹搞了一次接口性能优化。在这里结合优化过程,总结了接口优化的八个要点,希望对大家有帮助呀~数据量比较大,批量操作数据入库耗时操作考虑异步处理恰当使用缓存优化程序逻辑、代码SQL优化压缩传输内容考虑使用文件/MQ等其他方式暂存,异步再落地DB跟产品讨论需求最恰当,最舒服的实现方式嘻嘻,先看一下我们对外转
分类:
其他好文 时间:
2020-11-07 15:42:12
阅读次数:
19
Xtrabackup物理备份工具,备份MySQL5.6.36(一)Xtrabackup工具简介percona公司的备份工具,性能比较高。物理备份工具。特点:物理备份工具,在同级数据量基础上,都要比逻辑备份性能要好的多。特别是在数据量比较大的时候,体现的更加明显。备份方式:1、拷贝数据文件(myisam存储引擎可以直接cp拷贝,但是innodb的不行)2、拷贝数据页备份原理(innodb):1、对于
分类:
数据库 时间:
2020-11-06 02:41:00
阅读次数:
30
加密算法共有3种。 1、线性加密算法 不可逆加密,不是为了获取原文,而是为了验证 SHA256算法原理详解。 SHA-2,名称来自于安全散列算法2(英语:Secure Hash Algorithm 2)的缩写,一种密码散列函数算法标准,由美国国家安全局研发,属于SHA算法之一,是SHA-1的后继者。 ...
分类:
其他好文 时间:
2020-11-04 19:15:48
阅读次数:
28
问题: 根据项目业务需求需要统计数据传到前台以图表显示,每天数据量大概20万多,但是每次统计只能统计出10万的数据量,出现数据丢失。 原因: 该接口在之前一次优化时加了多线程,但是数据汇总用的仍是ArrayList,ArrayList线程不安全,当一条线程执行list.add()的时候会出现被另一条 ...
分类:
编程语言 时间:
2020-11-04 17:42:26
阅读次数:
31
DT时代,越来越多的企业将商业智能BI的应用列入企业信息化建设的目标,BI市场需求的日益旺盛,也催生了BI厂商激烈的市场竞争,带动了国内BI工具技术的发展及成熟。BI工具定位,BI选型背景,如何选择BI产品?第一:产品性能随着用户数据来源越来越广泛,用户对BI的需求偏爱在发生变化。系统扩展性和可靠性。企业数据量较小时,用单机存储和分析就可以,随着数据量的增大,单机扩展为多机,需要实现系统的线性扩展
分类:
其他好文 时间:
2020-11-01 21:10:23
阅读次数:
20