--抓取西部POS数据DELETE FROM POSLSBFINSERT INTO POSLSBFselect * from [192.168.1.100].[SCMIS].DBO.possrlbf WHERE SLDAT>'20130101'ORDER BY 1INSERT INTO POSXBB...
分类：
其他好文 时间：
2014-09-11 20:56:12
阅读次数：
252
问题描述我开发的网站加了个新功能：需要在线上处理表数据的批量合并和更新，昨天下午发布上线，执行该功能后，服务器的load突然增高，变化曲线异常，SA教育了我一番，让我尽快处理，将CPU负载降低。工作所需，我经常要写些程序批量处理数据，每次执行几十万数据处理的时候，我机子的CPU都会飙高，而且数据处理...
分类：
系统相关 时间：
2014-09-11 18:58:52
阅读次数：
942
一、Spark与Hadoop的关系 Spark和Hadoop只是共用了底层的MapReduce编程模型，即它们均是基于MapReduce思想所开发的分布式数据处理系统。 Hadoop采用MapReduce和HDFS技术，其MapReduce计算模型核心即Map操作和Reduce操作，在这个计算模.....
分类：
其他好文 时间：
2014-09-10 19:12:50
阅读次数：
311
在工作中遇到需要处理不同精度的数据需要进行运算，然后将处理过的后台数据显示到前台。起初没有考虑到精度处理，只是做了简单的转化，后来发现显示的数据和预期的总有偏差。解决办法：1 后台数据处理是取数据要保持到最高精度，比如在一次运算中有decimal、int、double型的数据，那么结果最好是使用de...
分类：
其他好文 时间：
2014-09-10 12:19:40
阅读次数：
131
当今市面上的存储系统存在若干具有普遍性的问题。通常情况下，数据从外部接口进入，存储引擎则进行数据处理。每种存储引擎均有其各自的特性，可以进行数据应用，或压缩、加密及映射等。在存储引擎处理数据的同时，还要进行应答，并将应答发送给高层应用。为了实现这一点，所有的存储系统均采用某种写缓存来尽可能快地作出应答，使应用得以执行各自的任务。此外，数据处理部分还会产生许多元数据。对每一个进入系统的I/O，元数据处理均如影随形般进行着。显然，也需要元数据存储来辅助数据处理。因此，这两种负载成为了存储系统中的瓶颈：写缓冲缓存...
分类：
其他好文 时间：
2014-09-09 12:45:18
阅读次数：
285
f5负载均衡原理
一、 负载均衡技术
负载均衡技术在现有网络结构之上提供了一种廉价、有效、透明的方法，来扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。
1. 负载均衡发生的流程图：
1. 客户发出服务请求到VIP
2.BIGIP接收到请求，将数据包中目的IP地址改为选中的后台服务器IP地址，然后将数据包发出到后台选定的服务器...
分类：
其他好文 时间：
2014-09-09 12:42:58
阅读次数：
212
常见问题：①Top K问题：分治+Trie树/Hash_map+小顶堆。采用Hash(x)%M将原文件分割成小文件，如果小文件太大则继续Hash分割，直至可以放入内存。②重复问题：BitMap位图 或 Bloom Filter布隆过滤器 或 Hash_set集合。每个元素对应一个bit处理。③排序问...
分类：
其他好文 时间：
2014-09-09 11:27:08
阅读次数：
272
新建一个UITableView的子类，在其中实现UITableView创建的代理步骤，唯一不同是需要建一个属性数组，用来传递数据然后再ViewController初始化并设置正确的代理对象此方法适用同一个界面多个UITableView使用，好管理数据
分类：
其他好文 时间：
2014-09-09 10:48:58
阅读次数：
220
进程就是处理执行期的程序（目标代码存放在某种存储介质上）。查进程并不仅仅局限于一段可执行程序代码。通常进程包括：打开的文件挂起的信号内核内部数据处理器状态地址空间一个或多个执行线程存放全局变量的数据段对linux而言，线程是特殊的进程，并不特别区分。在现代操作系..
分类：
系统相关 时间：
2014-09-08 03:19:26
阅读次数：
398
缓存（Cache）就是一块用来存放数据的内存空间。主要作用是暂存数据处理结果，并提供下次访问使用。
缓存的使用非常普遍，比如，浏览器都会在本地缓存页面，从而减少HTTP 的访问次数。又如服务器系统开发时，设计人员为一些核心的 API 加上缓存，从而提高系统的缓存时间。
最简单的缓存实现可以使用 HashMap 。当然，这样做会有很多问题，如何时清理无效的数据；如何防止缓存数据过多而导致内存溢出等。一个稍好的方案是使用 WeakHashMap，使用弱引用维护一张哈希表，而且可以...
分类：
其他好文 时间：
2014-09-06 18:45:14
阅读次数：
314
