分片是解决数据库存储容量限制的直接途径。分片包括垂直分片与水平分片两种方式。垂直分片垂直分片又叫纵向分割，即以逻辑表为单位，把原有数据库切分成多个数据库。切分后不同的表存储在不同的数据库上。 ...
分类：
数据库 时间：
2018-07-03 20:08:07
阅读次数：
203
7.2 流量汇总程序案例 7.2.1 需求1：统计手机号耗费的总上行流量、下行流量、总流量（序列化） 1）需求： 统计每一个手机号耗费的总上行流量、下行流量、总流量 2）数据准备 phone_date.txt 输入数据格式： 输出数据格式 3）分析 基本思路： Map阶段： （1）读取一行数据，切分 ...
分类：
其他好文 时间：
2018-07-03 00:58:51
阅读次数：
191
7.7 日志清洗案例 7.7.1 简单解析版 1）需求： 去除日志中字段长度小于等于11的日志。 2）输入数据 3）实现代码： （1）编写LogMapper （2）编写LogDriver 7.7.2 复杂解析版 1）需求： 对web访问日志中的各字段识别切分 去除日志中不合法的记录 根据统计需求，生 ...
分类：
其他好文 时间：
2018-07-02 22:06:43
阅读次数：
458
具体文件怎么来就随意了。如果切分的块数不能整除也可以，只是会丢失，自己补足一下会更复杂了 ...
MongoDB NoSQL：not only sql 并行数据库：水平切分，分区查询 NoSQL数据库管理系统：非关系型、分布式、不支持ACID数据库设计范式 简单数据模型； 元数据库和数据分离； 弱一致性； 高吞吐量； 搞水平扩展能力和低端硬件集群； 数据存储类型： 列式存储模型； 文档数据模型； ...
分类：
数据库 时间：
2018-06-26 00:51:40
阅读次数：
224
当我们去熟悉一个概念的时候，为了更好的认识学习，倾向于全方面的了解，但是因为云计算尚处在一个快速发展的领域，还没有迎来顶峰，所以我们了解云计算就从概念、重要技术、主要公司以及当下情况就可以大致的了解这个领域，当别人谈起人工智能的时候，也不至于一脸懵逼。首先我们需要先了解概念，某科是这么解释的，透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分析
分类：
其他好文 时间：
2018-06-23 13:08:20
阅读次数：
144
本文是对上文[用CRF做命名实体识别](https://www.cnblogs.com/lookfor404/p/9189429.html)做一次升级。多添加了5个特征(分别是词性，词语边界，人名，地名，组织名指示词)，另外还修改了特征模板，最终训练了11个小时，F1值为0.98。 ...
分类：
其他好文 时间：
2018-06-23 01:33:04
阅读次数：
298
随着数据量不断增大，传统的架构模式难以解决业务量不断增长所带来的问题，特别是在业务成线性、甚至指数级上升的情况。此时我们不得不通过水平扩展，把数据库放到不同服务器上来解决问题，也就是我们说的数据库中间件。作为数据库中间件，分布式数据库中间件DDM将底层数据库存储引擎以集群方式管理起来，用户使用非常方便。应用程序不需要关心具体有多少分片。类似操作单机数据库，用户通过DDM管理控制台进行数据库运维，使
分类：
数据库 时间：
2018-06-21 17:31:35
阅读次数：
215
1、决策树 适用条件：数据不同类边界是非线性的，并且通过不断将特征空间切分为矩阵来模拟。特征之间有一定的相关性。特征取值的数目应该差不多，因为信息增益偏向于更多数值的特征。 优点：1.直观的决策规则；2.可以处理非线性特征；3.考虑了变量之间的相互作用。 缺点：1.容易过拟合（随机森林、剪枝）；2. ...
分类：
编程语言 时间：
2018-06-19 13:50:46
阅读次数：
326
我们知道，如果我们使用mysql，当数据库数据量达到一定数据量之后，会考虑对数据库进行分库分表等操作，但是在什么情况下做怎么的切分，下面分表介绍。 一、分库 1 分库原因 首先，在单台数据库服务器性能足够的情况下，分库对于数据库性能是没有影响的。在数据库存储上，database只起到一个namesp ...
分类：
数据库 时间：
2018-06-16 18:44:16
阅读次数：
223
