HTML部分 <%@PageLanguage="C#"AutoEventWireup="true"CodeBehind="index.aspx.cs"Inherits="up6.index" %> <!DOCTYPEhtmlPUBLIC"-//W3C//DTD XHTML 1.0 Transitio ...
分类：
Web程序 时间：
2019-10-28 10:53:59
阅读次数：
153
1.使用PHP的创始人 Rasmus Lerdorf 写的APC扩展模块来实现（http://pecl.php.net/package/apc） APC实现方法： 安装APC，参照官方文档安装，可以使用PECL模块安装方法快速简捷，这里不说明 配置php.ini，设置参数 apc.rfc1867=1 ...
分类：
Web程序 时间：
2019-10-28 10:51:58
阅读次数：
106
在linux下的多个进程间的通信机制叫做IPC(Inter-Process Communication)，它是多个进程之间相互沟通的一种方法。在linux下有多种进程间通信的方法：半双工管道、命名管道、消息队列、信号、信号量、共享内存、内存映射文件，套接字等等。使用这些机制可以为linux下的网络服 ...
分类：
系统相关 时间：
2019-10-26 21:19:11
阅读次数：
109
[TOC]一、MapReduce跑得慢的原因1）计算机性能?CPU、内存、磁盘健康、网络。文件系统可以设置文件访问时，不更新atime2）I/O操作优化（1）数据倾斜（2）map和reduce数设置不合理（3）map运行时间太长，导致reduce等待过久（4）小文件过多（5）大量的不可分块的超大文件（6）spill次数过多（7）merge次数过多等。二、优化方案?MapReduce优化方法主要从几
分类：
其他好文 时间：
2019-10-26 21:01:31
阅读次数：
169
1.浏览器的脚本选择： 说明：不同的浏览器安装的名称不一样，这里采用Firefox做测试，同样可按照以下列表对应下载； Chrome：Tampermonkey 或 Violent monkey Firefox：Greasemonkey、Tampermonkey 或 Violentmonkey Saf ...
分类：
其他好文 时间：
2019-10-26 15:33:27
阅读次数：
95
文件读写属于一种常见的IO操作，由于操作系统将底层操作磁盘的接口向上封装为一种通用接口，因此Python中读写文件的基本方法和JAVA、PHP等高级编程语言一样，先请求操作系统打开一个文件描述符，通过操作系统提供的接口从这个文件对象中读取数据，或者把数据写入这个文件中，最后当文件读写操作完成后关闭文件。需要注意的是文件读写完成后必须及时关闭文件，一方面打开的文件会占用操作系统的资源，并且操作系统同
分类：
编程语言 时间：
2019-10-25 23:35:22
阅读次数：
125
本地如何备份数据( cp 和rsyc) cp复制()备份 rsync 远程备份(scp, rsync) scp备份 rsync备份 成功 备份目录(2种情况) 不加/ 会把目录和文件都传输过来 加/ 只会把文件都传输过来 无差异数据同步(删除大文件) rsync服务部署安装过程 a 下载安装软件 y ...
分类：
其他好文 时间：
2019-10-25 18:14:57
阅读次数：
100
在“MapReduce--input之输入原理”中说到实现定义输入的方法，其实就是继承InputFormat以及RecordReader实现其中的方法。下面例子讲解操作。1、需求将多个文件合并成一个大文件（有点类似于combineInputFormat），并输出。大文件中包括小文件所在的路径，以及小文件的内容。2、源码inputFormatpublicclassSFileInputFormatex
分类：
其他好文 时间：
2019-10-25 10:12:07
阅读次数：
70
文件夹数据库处理逻辑 publicclass DbFolder { JSONObject root; public DbFolder() { this.root = new JSONObject(); this.root.put("f_id", ""); this.root.put("f_nameL ...
分类：
编程语言 时间：
2019-10-24 13:26:39
阅读次数：
74
需求： 支持大文件批量上传（20G）和下载，同时需要保证上传期间用户电脑不出现卡死等体验； 内网百兆网络上传速度为12MB/S 服务器内存占用低 支持文件夹上传，文件夹中的文件数量达到1万个以上，且包含层级结构。 支持PC端全平台操作系统，Windows,Linux,Mac 支持文件和文件夹的批量下 ...
分类：
其他好文 时间：
2019-10-23 14:05:53
阅读次数：
120
