码迷,mamicode.com
首页 >  
搜索关键字:小文件    ( 1027个结果
Nginx面试题
1、请解释一下什么是Nginx? 答:Nginx是一个web服务器和反向代理服务器,用于HTTP、HTTPS、SMTP、POP3和IMAP协议。 2、请列举Nginx的一些特性? 答:Nginx服务器的特性包括: 1)反向代理/L7负载均衡器 2)嵌入式Perl解释器 3)动态二进制升级 4)可用于 ...
分类:其他好文   时间:2019-08-24 16:52:03    阅读次数:87
tar_ssh 配合提高小文件下载效率
scp传小文件时会由于每个文件确认等待,一方面等待确认时tcp窗口无法填满,另一方面文件传完之前也不会开始读下一个文件。而tar ssh配合则恰好解决该问题。当然大文件传输也不会有作用,甚至还会变慢。 #不带压缩ssh ${username}@${ip} '(cd ${src_folder_path ...
分类:其他好文   时间:2019-08-20 01:29:54    阅读次数:128
ncRsync服务
ncRsync服务 使用scp 进行 她不适合传海量的小文件 Rsync rsync是一款开源、快速、多功能、可实现全量及增量的本地或远程数据同步备份的优秀工具。rsync软件适用于Unix/linux/Windows等多种操作系统平台。 rsync 简介 rsync英文称为remote synch ...
分类:其他好文   时间:2019-08-18 17:59:41    阅读次数:109
hadoop基础
hadoop dfs -ls file:/// (最后一个/表示本地文件系统的根目录) HDFS的弱点: 实施访问数据弱 大量小文件 多用户写入 配置hdfs块的大小 hsfs-site.xml 冗余性 <property> <name>dfs.replication</name> <value>3 ...
分类:其他好文   时间:2019-08-16 01:10:14    阅读次数:116
js怎么上传文件夹
1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出、还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这份文件非常大到了10GB级别,我们就需要思考另一种 ...
分类:Web程序   时间:2019-08-14 17:28:17    阅读次数:135
Apache
apache特点:功能强大,配置简单,速度快,运用范围广,稳定apache通常用于处理静态小文件使用场景:运行静态html网页、图片使用apache结合php引擎,运行php、perl等程序---LAMP组合处理静态:apache、nginx、lighttpd处理动态:tomcat、iis、resin源码安装:上传包,并解压cdhttpd-2.2.17[root@localhosthttpd-2.
分类:Web程序   时间:2019-08-13 22:22:20    阅读次数:145
大数据 -- Hadoop集群环境搭建
首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件,为了降低文件丢失造成的错误,它会为每个小文件复制多个副本(默认为三 ...
分类:其他好文   时间:2019-08-13 00:53:23    阅读次数:203
磁盘的优化
调度算法 写入优化 优化方式 1、调整算法 2、调整队列 调整算法: vim /usr/lib/tuned/《已经选择的优化策略》/tuned.conf 查看算法: cat /sys/nlock/sda/queue/scheduler 配置文件位于/sys/block/sda(需要优化的磁盘)/qu ...
分类:其他好文   时间:2019-08-11 10:28:13    阅读次数:74
智能硬件设备—配置服务+应用商店
一. 配置服务 背景: 各个业务APP模块很多场景都需要进行灰度配置,控制客户端的参数。(例如 轮询时间间隔,日志文件大小,文件上传开关等等),各个业务模块需要自己实现接口请求去服务端获取并解析数据。 在新的架构中,专门开发一个配置服务APP专门用于去服务端获取配置,同时和其它APP通过aidl接口 ...
分类:其他好文   时间:2019-08-10 17:23:09    阅读次数:97
hadoop小文件存档
hadoop小文件存档1.HDFS存档小文件弊端 每个文件均按块存储,每个块的元数据存储在NameNode的内存中,因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存。但注意,存储小文件所需的磁盘容量和数据块的大小无关。例如,一个1M的文件设置为128M的块存储, ...
分类:其他好文   时间:2019-08-09 01:44:07    阅读次数:110
1027条   上一页 1 ... 15 16 17 18 19 ... 103 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!