python结巴(jieba)分词 一、特点 1、支持三种分词模式： (1)精确模式：试图将句子最精确的切开，适合文本分析。 (2)全模式：把句子中所有可以成词的词语都扫描出来，速度非常快，但是不能解决歧义。 (3)搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。 ...
分类：
编程语言 时间：
2017-06-26 18:01:25
阅读次数：
255
HDFS数据块(block) 文件被切分成固定大小的数据块 > √默认数据块大小为64MB，可配 √若文件大小不到64MB，则单存成一个block 为何数据块如此之大 > √数据传输时间超过寻道时间（高吞吐率） 一个文件存储方式 > √按大小被切分成若干个block，存储到不同的节点上 √默认情况下 ...
分类：
其他好文 时间：
2017-06-24 22:42:27
阅读次数：
170
mapreduce是hadoop的核心组件, 设计理念是移动计算而不是移动数据, mapreduce的思想是'分而治之', 将复杂的任务分解成几个简单的任务去执行 共分为4个步骤: 1, split 切分blcok, 切分为数据片段, split0, split1, split2 计算公式为: 2, ...
分类：
其他好文 时间：
2017-06-24 19:40:44
阅读次数：
167
第1章 引言 随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当 高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库，可 以 ...
分类：
数据库 时间：
2017-06-24 13:56:43
阅读次数：
198
mysql分区分表1.分表是将一个大表按照一定的规则分解成多张具有独立存储空间的实体表，每个表都对应三个文件，MYD数据文件，.MYI索引文件，.frm表结构文件mysql分表分为垂直切分和水平切分垂直切分是指数据表列的拆分，把一张列比较多的表拆分为多张表通常我们按以下原则进行垂..
分类：
数据库 时间：
2017-06-23 15:29:10
阅读次数：
322
假设表字段太多。假设表中有些字段比較大。即便是你仅仅查有限的几个字段，在做表关联和全表扫的时候，由于扫描的数据块多。性能方面还是会不理想。由于oracle扫描的时候是依照块为单位扫描，读取的时候也是按块为单位读取，所以这样的功能无法在SQL层面上优化的时候，能够考虑做数据的垂直切分，以下来做个试验： ...
分类：
数据库 时间：
2017-06-19 19:43:12
阅读次数：
262
把对象作为程序的基本单元，一个对象包含了数据和操作数据的函数。 面向过程的程序设计把计算机程序视为一系列的命令集合，即一组函数的顺序执行。为了简化程序设计，面向过程把函数继续切分为子函数，即把大块函数通过切割成小块函数来降低系统的复杂度。 面向过程的程序设计把计算机程序视为一系列的命令集合，即一组函 ...
分类：
其他好文 时间：
2017-06-19 09:48:29
阅读次数：
118
本文选取了25封垃圾邮件和25封正常邮件，随机产生了10组测试集和40组训练集，使用朴素贝叶斯方法实现了垃圾邮件的分类。 Bayes公式 遍历每篇文档向量，扫描所有文档的单词，合并集合去重 ，并生成最终的词汇表 # 创建词汇表 # 输入：dataSet已经经过切分处理 # 输出：包含所有文档中出现的 ...
分类：
其他好文 时间：
2017-06-18 10:31:47
阅读次数：
170
含义： 根据分隔符，按列切分文件 语法格式：cut [选项]... [文件]... -c, --characters 按照字符 -f, --fields 按照列 -d, --delimiter 指定分隔符,默认是制表符(\t) 例子：查看文件内容 cat kimbo_test.txt 结果： ...
分类：
系统相关 时间：
2017-06-13 20:36:08
阅读次数：
247
本节介绍正则表达式相关的Java API，讨论在Java中利用正则表达式实现文本的切分、验证、查找和替换，对于替换，我们演示一个简单的模板引擎 ...
分类：
其他好文 时间：
2017-06-13 10:03:15
阅读次数：
269
