1、数据量小的表，例如货币码、组织机构码等在客户端程序启动的时候就加载到datatable里，对这些代码信息的访问尽量不去麻烦服务器，在内存里查就可以了。2、建立索引，根据用户的操作习惯，对数据表最经常访问的字段建立索引，并且每个月重建一次。3、尽可能使用最平实的select语句（少用子查询），发挥...
分类：
其他好文 时间：
2015-01-20 17:14:22
阅读次数：
108
在报表应用中，针对历史数据查询的报表占比很大，这类报表的特点是：第一，数据变化小，查询的历史数据几乎不会发生变化；第二，数据量大，数据量随时间跨度增大而不断增加。如果数据始终存放在数据库中，由于大多数数据库的JDBC性能都很低下（JDBC取数过程要做数据对象转换，比从文件中读取数据会慢一个数量级），这时涉及数据量较大或在并发较多的时候，报表的性能会急剧下降。如果能将这些变化不大的历史数据移出数据库...
分类：
数据库 时间：
2015-01-20 13:49:35
阅读次数：
250
二维码的对于现在已经很流行了，主要是因为其大数据量和容错能力。出于爱好，学了下google的zxing对二维码的处理。首先生成一张二维码的话，只要输入文本就OK了。下面是加密的代码123456789101112131415161718192021222324252627282930313233343...
分类：
微信 时间：
2015-01-19 10:42:07
阅读次数：
475
大数据量的话可以有以下方法：1、数据库分表2、数据库分区3、是用缓存4、用lucene处理5、分时处理不关EF什么事情，当然这是基本的处理方法，高级的处理方法就复杂点，不过百万级的数据，上面那些方法就够了
分类：
其他好文 时间：
2015-01-15 21:38:56
阅读次数：
186
1.什么是Thriftthrift是一种可伸缩的跨语言服务的发展软件框架。它结合了功能强大的软件堆栈的代码生成引擎，以建设服务。不同开发语言开发的服务可以通过该框架实现通信。thrift是facebook开发的，创造thrift是为了解决facebook系统中各系统间大数据量的传 输通信以及系统之间...
分类：
Web程序 时间：
2015-01-15 12:29:29
阅读次数：
218
为了解决大数据量下显示数据的问题，我们需要这样的一个效果：用户每次操作分页工具栏的时候向数据库获取新的数据，服务器根据传递回的参数确定需要获取的数据段，然后查询数据库获取指定若干行的数据，再传递给前台由Datagrid显示出来。首先，设置datagrid的初始化[javascript] view p...
分类：
Web程序 时间：
2015-01-15 09:15:07
阅读次数：
126
Hadoop的前景随
着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企
业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及
Android程..
分类：
其他好文 时间：
2015-01-14 18:25:07
阅读次数：
169
发现在2015年里学习MVC的人越来越多，本人的群成员也越来越多，为了更方便大家学习，在此共享一个个人的小项目。如下是部分截图：简单介绍一下本系统的一些相关知识。1.简单的3层框架，易学易懂2.用到了仓储 ，即 Repository 类3.EF调用存储过程的大数据量分页4.EF CodeFirst ...
分类：
Web程序 时间：
2015-01-12 10:46:42
阅读次数：
199
在Spark 0.6和0.7时，Shuffle的结果都需要先存储到内存中（有可能要写入磁盘），因此对于大数据量的情况下，发生GC和OOM的概率非常大。因此在Spark 0.8的时候，Shuffle的每个record都会直接写入磁盘。一直到1.2.0，Shuffle的数据是一定会写入本地文件系统的，那么对于性能要求非常苛刻的用户，如何获得更好的性能呢？...
分类：
其他好文 时间：
2015-01-11 16:18:22
阅读次数：
149
1 背景我们知道数据是一个公司的命脉，随着业务越做越大，数据量也会越来越大，计算也会越来越复杂，性能，可靠性，可扩展性的需求就会越来越强烈，这个时候一个集中式的数据库显然已经满足不了需求了。对于技术决策者来说有两条路可以走，第一：按照现有的大型数据库的解决方案，比如SQL SERVER Clus.....
分类：
数据库 时间：
2015-01-10 15:10:19
阅读次数：
238
