private void AddShuJu_Click(object sender, RoutedEventArgs e) { Stopwatch wath = new Stopwatch(); wath.Start(); ...
分类：
数据库 时间：
2015-05-19 20:48:39
阅读次数：
184
今天有人问到我：memcache存储大数据量，10K，100K，1M的时候，效果怎么样？？我回答：不好，效果非常慢。对方问：为什么啊？？我回答不上来。。。于是就找了点资料。memcached使用需要注意的知识：1、memcached的基本设置1）启动Memcache的服务器端# /usr/local...
分类：
系统相关 时间：
2015-05-18 18:26:29
阅读次数：
151
在通常情况下，在几百条至上千条数据展示中，无论是同步加载还是异步加载，grid都将显示正常，即使对其进行一系列的格式化操作，以及对于字段的宽度进行重新的适配显示等，也不会造成很大的延迟。但是当数据量达到W级别之后，grid显示就会出现不同程度的卡顿。 考虑到大数据量下的数据查询延迟，造成界...
分类：
其他好文 时间：
2015-05-14 23:36:08
阅读次数：
105
目前的分词器大部分都是单机服务器进行分词，或者使用hadoop mapreduce对存储在hdfs中大量的数据文本进行分词。由于mapreduce的速度较慢，相对spark来说代码书写较繁琐。本文使用spark + ansj对存储在hdfs中的中文文本数据进行分词。...
分类：
其他好文 时间：
2015-05-14 16:43:27
阅读次数：
350
一、数据库结构的设计 如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。 在一个系统分析、设计阶段，因为数据量较小，负荷较低。我们往往只注意到功能的实现，而很难注意到性能的...
分类：
数据库 时间：
2015-05-13 19:18:57
阅读次数：
330
这两天工作有点忙，博客更新不及时，请大家见谅；
前面了解到lucene在索引创建的时候一个IndexWriter获取到一个读写锁，这样势在lucene创建大数据量的索引的时候，执行效率低下的问题；
查看前面文档一步一步跟我学习lucene（5）---lucene的索引构建原理可以看出，lucene索引的建立，跟以下几点关联很大；
磁盘空间大小，这个直接影响索引的建立，甚至会造成索引写入提...
分类：
编程语言 时间：
2015-05-13 10:36:28
阅读次数：
151
Java连接hive进行操作的方式有多种，接触到了两种： 首先，hive要起动远程服务接口，命令： hive --service hiveserver -p 50000 & 1. 通过jdbc驱动连接hive 当然还有其他的连接方式，比如ODBC等，这种方式很常用。 不稳定，经常会被大数据量冲挂，不...
分类：
编程语言 时间：
2015-05-12 13:14:57
阅读次数：
152
1.背景
随着互联网的日益壮大,网站的pv和uv成线性或者指数倍的增加.单服务器单数据库早已经不能满足实际需求。目前大多数大型网站的服务器都采用了分布式服务集群的部署方式，所谓集群，就是让一组计算机服务器协同工作，解决大并发,大数据量瓶颈问题。但是在服务集群中，session共享往往是一个比较头疼的问题。因为session是在服务器端保存的，如果用户跳转到其他服务器的话，session就会丢...
分类：
其他好文 时间：
2015-05-11 13:05:11
阅读次数：
116
前面分别介绍了“原生的Dijkstra”即毫无优化的Dijkstra，但这种Dijkstra的效率较低为n^n，因此面对较大数据量的时候需要对其进行优化，也就是优化所采用的贪心策略的实现，因此就有了Heao+Dijkstra堆优化的Dijkstra，但是堆优化的实现很复杂，而PriorityQueue+Dijkstra优先队列优化的Dijstra的效率虽然略低于堆优化的Dijkstra，但是实现却容易的多，也不容易出错，因为可以借助java类库中的PriorityQueue来实现，因此优先队列优化的Dijk...
分类：
Web程序 时间：
2015-05-11 10:55:46
阅读次数：
362
1、问题：导入大数据量到数据库，用我们普通的SqlHelper来做是每插入一条都是打开连接关闭连接，这样太慢，因此我们会想到让SqlConnection一直打开直到所有数据都插入完成再关闭连接。但是根据数据库连接池，这样速度依然很慢。2、解决办法： .Net给我们提供了SqlBulkCopy来一次性...
分类：
数据库 时间：
2015-05-10 22:20:51
阅读次数：
265
