码迷,mamicode.com
首页 >  
搜索关键字:数据量    ( 6632个结果
数据库,主键为何不宜太长长长长长长长长?
继续回答星球水友提问:沈老师,我听网上说,MySQL数据表,在数据量比较大的情况下,主键不宜过长,是不是这样呢?这又是为什么呢?这个问题嘛,不能一概而论:(1)如果是InnoDB存储引擎,主键不宜过长;(2)如果是MyISAM存储引擎,影响不大;先举个简单的栗子说明一下前序知识。假设有数据表:t(idPK,nameKEY,sex,flag);其中:(1)id是主键;(2)name建了普通索引;假设
分类:数据库   时间:2020-11-10 11:33:03    阅读次数:12
几千万记录,数据库表结构如何平滑变更? | 答水友问
继续回答知识星球水友提问。问题域:数据量大、并发量高场景,如何在流量低峰期,平滑实施表结构变更?画外音,一般来说,是指增加表的属性,因为:(1)如果是减column,升级程序不使用即可;(2)如果是修改column,程序兼容性容易出问题;首先,一起看下有哪些常见方案。方案一:在线修改表结构。画外音:altertableaddcolumn数据量大的情况下,锁表时间会较长,造成拒绝服务,一般不可行。方
分类:数据库   时间:2020-11-10 11:32:08    阅读次数:12
每秒20W次并发分词检索,架构如何设计?
继续回答星球水友提问。沈哥,我们有个业务,类似于“标题分词检索”,并发量非常大,大概20W次每秒,数据量不是很大,大概500W级别,而且数据不会频繁更新,平均每天更新一次,请问有什么好的方案么?这是一个典型的,短文本分词搜索的问题,简单聊聊自己的经验。常见的文本检索方案有哪些?(1)数据库LIKE法将标题数据存放在数据库中,使用like来查询,方案非常简单,能支持简单的模糊搜索,但不支持分词。画外
分类:其他好文   时间:2020-11-10 11:31:19    阅读次数:7
1000亿文本信息,高并发MD5查询,这么大数据量的业务怎么弄?
==星球水友提问==沈老师,你好,想请教一个身份证信息检索的问题。公司有一个每秒5万并发查询的业务,(假设)根据身份证MD5查询身份证信息,目前有1000亿条数据,纯文本存储,前几天看你写LevelDB,请问这个业务能利用LevelDB内存数据库进行存储么?有没有其他优化方案?画外音:LevelDB《内存KV缓存/数据库》。==问题描述完==上一位星球水友问的是36亿日志后台分页查询,紧接着又来了
分类:其他好文   时间:2020-11-10 11:30:25    阅读次数:10
数据库软件架构,到底要设计些什么?
一、基本概念概念一:单库概念二:分片分片解决“数据量太大”这一问题,也就是通常说的“水平切分”。一旦引入分片,势必面临“数据路由”的新问题,数据到底要访问哪个库。路由规则通常有3种方法:(1)范围:range优点:简单,容易扩展。缺点:各库压力不均(新号段更活跃)。(2)哈希:hash优点:简单,数据均衡,负载均匀。缺点:迁移麻烦(2库扩3库数据要迁移)。(3)统一路由服务:router-conf
分类:数据库   时间:2020-11-10 11:28:38    阅读次数:11
帖子中心,1亿数据,架构如何设计?
帖子中心,是互联网业务中,一类典型的“1对多”业务,即:一个用户能发布多个帖子,一个帖子只有一个发布者。随着数据量的逐步增大,并发量的逐步增大,帖子中心这种“1对多”业务,架构应该如何设计,有哪些因素需要考虑,是本文将要系统性讨论的问题。什么是x对x?所谓的“1对1”,“1对多”,“多对多”,来自数据库设计中的“实体-关系”ER模型,用来描述实体之间的映射关系。什么是“1对1”业务?用户中心,一个
分类:其他好文   时间:2020-11-08 17:30:50    阅读次数:19
用户中心,1亿数据,架构如何设计?
本文较长,可提前收藏。用户中心,几乎是所有互联网公司,必备的子系统。随着数据量不断增加,吞吐量不断增大,用户中心的架构,该如何演进呢。什么是用户中心业务?用户中心是一个通用业务,主要提供用户注册、登录、信息查询与修改的服务。用户中心的数据结构是怎么样的?用户中心的核心数据结构为:User(uid,login_name,passwd,sex,age,nickname,…)其中:(1)uid为用户ID
分类:其他好文   时间:2020-11-08 17:30:13    阅读次数:21
高并发,你真的理解透彻了吗?
高并发,几乎是每个程序员都想拥有的经验。原因很简单:随着流量变大,会遇到各种各样的技术问题,比如接口响应超时、CPU load升高、GC频繁、死锁、大数据量存储等等,这些问题能推动我们在技术深度上不断精进。 在过往的面试中,如果候选人做过高并发的项目,我通常会让对方谈谈对于高并发的理解,但是能系统性 ...
分类:其他好文   时间:2020-11-08 17:21:16    阅读次数:20
机器学习实验方法与原理
k折验证中k值对偏差和方差的影响? 总共n个数据,假设为2,每次训练集大小为n/2,每次训练的数据量会偏小,取平均值后,由于每次训练的数据量比较小,最终学习输出的模型会不能很好的代表样本的分布(欠拟合),换句话说就是偏差大。或者这么理解,由于k折交叉验证是使用k次训练的结果取平均值来进行预测的,如果 ...
分类:其他好文   时间:2020-11-08 17:06:28    阅读次数:20
mfc 灰度图的绘制,数据与绘图分离
接到一个项目,需要根据udp收到的数据绘制灰度图,数据量比较大,需要实施绘制,一开始没有使用OnPaint函数,在自定义类中调用绘制部分,使用的是双缓存机制,防止闪烁,代码如下: template <class T1, class T2>void CchinaDiankeSarDisPlayImag ...
分类:编程语言   时间:2020-11-08 16:51:08    阅读次数:17
6632条   上一页 1 ... 13 14 15 16 17 ... 664 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!