#Hadoop 分布式计算平台,同时也是一个生态圈 hadoop 1.X HDFS+MapReducer+Common hadoop 2.X HDFS+MAP+Reducer+Common hadoop 3.X java7->java8,引入纠删码,重写shell脚本,支持超过两个NameNode, ...
分类:
其他好文 时间:
2021-04-27 15:04:12
阅读次数:
0
最近发现我们系统导出excel文件时由于是导出百万级数据导出,速度过慢并且内存占用多,故进行了下面的一次优化。 我们使用apache的poi进行excel文件操作 主要耗时: 1、从数据库得到需要导出的结果集耗时 2、将数据写入excel耗时 优化前 public abstract class Ba ...
分类:
其他好文 时间:
2021-04-26 13:58:43
阅读次数:
0
原文链接:https://www.cnblogs.com/zsql/ 本篇主要对hadoop命令和hdfs命令进行阐述,yarn命令会在之后的文章中体现 hadoop fs命令可以用于其他文件系统,不止是hdfs文件系统内,也就是说该命令的使用范围更广可以用于HDFS、Local FS等不同的文件系 ...
分类:
其他好文 时间:
2021-04-26 13:47:48
阅读次数:
0
Logger配置文件说明 文件一定在src下,并命名为log4j.properties ### 全局默认配置 log4j.rootLogger = debug,stdout,D,E ### 设置控制台日志输出 ### log4j.appender.stdout = org.apache.log4j. ...
分类:
其他好文 时间:
2021-04-26 13:30:43
阅读次数:
0
HBase客户端开发API 建立连接 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org. ...
分类:
编程语言 时间:
2021-04-26 13:29:32
阅读次数:
0
安装目录:/usr/local 1. 下载Tomcat压缩包 cd /usr/localwget https://mirror.bit.edu.cn/apache/tomcat/tomcat-8/v8.5.59/bin/apache-tomcat-8.5.59.tar.gz 2.解压Tomcat包 ...
分类:
其他好文 时间:
2021-04-26 13:21:01
阅读次数:
0
Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上,由于其跨平台和安全性被广泛使用,是最流行的Web服务器端软件之一。它快速、可靠并且可通过简单的API扩充,将Perl/Python等解释器编译到服务器中。 Apache服务程序部署 第一步:把光盘设备中的系 ...
分类:
Web程序 时间:
2021-04-26 13:18:24
阅读次数:
0
应用层DOS Slowhttptest 低带宽应用慢速DOS攻击 擅长打击Apache,Tomcat 攻击方式: Slowloris, Slow HTTP POST 耗尽应用的并发连接池,类似http层的Syn Flood HTTP协议默认的情况下需要接收到全部的请求之后才会开始处理,如果客户端发送 ...
分类:
其他好文 时间:
2021-04-26 13:07:45
阅读次数:
0
基于Hadoop的sqoop组件的部署 什么是 Sqoop Sqoop 是一款开源的工具,主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql...) 间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres 等)中的 数据导 ...
分类:
其他好文 时间:
2021-04-26 13:03:24
阅读次数:
0
下载到导入的jar包 maven-source-plugin-2.2.1.jar 使用命令导入: mvn install:install-file -Dfile=D:\opensource\maven-source-plugin-2.2.1.jar -DgroupId=org.apache.mave ...
分类:
编程语言 时间:
2021-04-24 13:46:44
阅读次数:
0