python脚本解析日志文件入库一般有三个重要的步骤：读文件、解析文件、入库。在这三个方面下功夫，可确保我们获得最优的性能（这里不讨论并发）1 读文件：一次读一行，磁盘IO太多，效率低下；一次性读如全部文件内容，可能内存不够。采取一个折中的办法，每次读若干byte(具体大小视实际情况而定)。经过.....
分类：
编程语言 时间：
2014-06-19 06:22:34
阅读次数：
341
前言Hadoop从存储上来说，是类似于冗余磁盘阵列(RAID)的存储方式，将数据分散存储并提供以提供吞吐量，它的存储系统就是HDFS（Hadoop Distuibute Fils System）；从计算上来说，它通过MapReduce模型，将大数据的计算分发到多台计算机上完成，再将结果合并，减少计算的时间。Hadoop适合于：1、超大数据的计算；2、一次写入、多次读取的模式；3、可以跑在普通的硬件...
分类：
其他好文 时间：
2014-06-16 22:58:13
阅读次数：
250
当竞争对手的应用程序与我们的应用程序运行在同一个系统上时，我们的应用程序在内存中的敏感数据是很容易被竞争对手获取的。如果我们的应用程序符合下面几种情况之一，那么竞争对手可以获取到我们应用的敏感数据：
1）应用程序使用对象来存储敏感数据，而且在对象使用完后，对象的内容没有被清除或者对象没有被垃圾回收；
2）在操作系统运行内存管理任务或者执行休眠等功能时，应用程序的内存分页将被置换到磁盘上保存；...
分类：
编程语言 时间：
2014-06-16 19:18:30
阅读次数：
267
nginx高并发优化一、关闭系统中不需要的服务二、优化磁盘写操作mount-oremountdefaults,noatime,nodiratimepartionmount_partionfstab将partionmount_partiondefaults00修改为partionmount_partiondefaults,noatime,nodiratime00即修改为写入磁盘不修改访问时间三、优化资源限..
分类：
其他好文 时间：
2014-06-16 17:26:30
阅读次数：
276
01.在服务端创建zabbix组configuration---Templates---createtemplate---TemplateLinux
DiskIO===其中选择组为"Template"在TemplateLinuxDiskIO中创建Discoveryrule：Name:Diskdevice
discovery
Key:custom.vfs.dev.discovery
FilterMacro{#DISK}Regexp@Disk
devicefordiscover..
分类：
其他好文 时间：
2014-06-16 17:00:42
阅读次数：
543
Linux中使用mdadm创建软raidraid磁盘阵列:raid0raid1raid5raid10raid0：优点：读写速度快缺点：安全性不高raid1:优点：安全性高，读取速度快缺点：写入速度慢raid5:安全性介于0和1之间读写速度介于0和1之间优点：可以做冗余磁盘完整创建raid5过程：1.新建4个分区：[root@localh..
分类：
其他好文 时间：
2014-06-16 16:10:26
阅读次数：
279
第一款：TrueCryptTrueCrypt可能很多人没用过，它是一个加密软件，能够对磁盘进行加密。还在担心自己电脑中的重要文件、私密档案被人查看。什么，你以为把文件设置了隐藏属性别人就看不到了？：)：）快来用TrueCrypt，你必定会爱上它的。特点：对某一磁盘分区进行加密，开启计..
分类：
其他好文 时间：
2014-06-16 15:27:16
阅读次数：
158
一、控制文件是一种二进制文件，记录物理数据库的当前状态。每一个控制文件只属于一个数据库但是一个数据库通常有多个控制文件，目的是避免控制文件丢失对数据库恢复的影响，多个控制文件中的内容其实是完全相同的。为防止磁盘的物理故障这些控制文件最好放在不同的物理磁盘上，最好放在不同的物理磁盘控制器上。二、控制文...
分类：
其他好文 时间：
2014-06-15 15:37:56
阅读次数：
194
在cmd命令行下，进入platform-tools目录下。1.创建sdcardmksdcard -l mycard 256M E:\android\myCards\mysdcard.img这样就在该目录下创建好了一个SD卡的虚拟镜像。其中-l命令行参数表示虚拟磁盘的卷标号。256M是创建的虚拟sdc...
分类：
移动开发 时间：
2014-06-14 18:58:03
阅读次数：
287
同步就是将物理内存中dirty的页写入到磁盘中，保证磁盘和物理页之间的内容一致。 触发同步操作的时机： 1、周期性内核线程，扫描脏页，根据一定的规则选择脏页，将页写回到磁盘。 2、如果内核中的脏页过多，会触发同步 3、内核中其它组件触发同步操作（如sync、fsync和fdatasync...
分类：
系统相关 时间：
2014-06-14 16:26:58
阅读次数：
405
