1 cd /d D:\MyWork\MySQL\mysql-5.7.28-winx64\bin rem 目的是为了执行mysql.exe 2 mysql -h127.0.0.1 -P3306 -uroot -p123456 rem 作用是为了让客户端能够正确的连接服务器 3 mysql --host ...
分类：
其他好文 时间：
2020-07-26 01:52:32
阅读次数：
140
题记： 因业务需要，需将一些用户记录进行汇总并上传到指定平台。需要先将指定时间的所有用户记录进行汇总。涉及到了大数据量的数据导入导出。 使用 iINTO OUTFILE 和 LOAD DATA LOCAL INFILE 实现了改功能，记录一下 步骤： 1 将源数据导出（select * from t ...
分类：
数据库 时间：
2020-07-25 23:53:48
阅读次数：
72
Smartb](https://www.smartbi.com.cn/)i是国内领先的BI厂商，产品定位于一站式大数据服务平台，对接各种业务数据库、数据仓库和大数据平台，进行加工处理、分析挖掘与可视化展现
分类：
其他好文 时间：
2020-07-24 23:52:11
阅读次数：
173
4 开启 Reduce 输出阶段压缩 当 Hive 将 输 出 写 入 到 表 中 时 ， 输 出 内 容 同 样 可 以 进 行 压 缩 。 属 性hive.exec.compress.output 控制着这个功能。用户可能需要保持默认设置文件中的默认值 false， 这样默认的输出就是非压缩的纯 ...
分类：
其他好文 时间：
2020-07-24 21:30:31
阅读次数：
69
分布式系统分布式系统从当初的CORBA到EJB，Web和SOA，从集群到现在的NoSQL云计算和大数据Hadoop等分布式系统，横向水平扩展Scalaout/in是分布式系统设计的一个特点，可靠性容错性是两个质量指标。什么是分布式系统？一大批服务器组成一个集合，对于用户来说仍然是一个整体连贯系统。A.Tanenbaum定义：分布式网络的计算机中的组件之间协调动作是通过消息进行通讯。G.Coulou
分类：
其他好文 时间：
2020-07-24 13:30:07
阅读次数：
93
1. 概述 在 Java8 之前，我们通常是通过 for 循环或者 Iterator 迭代来重新排序合并数据 ，又或者通过 重新定义 Collections.sorts 的 Comparator 方法 来实现，这两种方式对于大数据量系统来说，效率并不是很理想。 Java8 中添加了一个新的接口类 S ...
分类：
编程语言 时间：
2020-07-24 10:04:02
阅读次数：
60
HDFS主要解决什么问题，与IPFS有什么不同？近年，随着区块链、大数据等技术的推动，全球数据量正在无限制地扩展和增加。分布式存储的兴起与互联网的发展密不可分，互联网公司由于其大数据、轻资产的特点，通常使用大规模分布式存储系统。与传统的高端服务器、高端存储器和高端处理器不同的是，互联网公司的分布式存储系统由数量众多的、低成本和高性价比的普通PC服务器通过网络连接而成。由于互联网的业务发展迅猛，使得
分类：
其他好文 时间：
2020-07-23 22:53:39
阅读次数：
109
自己学习Hadoop时，整理的资料，方便以后查看，希望能帮到大家，有什么问题欢迎大家指出 一、Hadoop是什么？其核心又是什么？ Hadoop历史 雏形开始于2002年的Apache的Nutch，Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜 ...
分类：
其他好文 时间：
2020-07-23 22:35:14
阅读次数：
65
1 Hadoop 源码编译支持 Snappy 压缩 1.1 资源准备 1．CentOS 联网 配置 CentOS 能连接外网。Linux 虚拟机 ping www.baidu.com 是畅通的 注意：采用 root 角色编译，减少文件夹权限出现问题 2．jar 包准备(hadoop 源码、JDK8 ...
分类：
其他好文 时间：
2020-07-23 22:32:44
阅读次数：
73
云计算和AI时代，运维应该如何做好转型？ 今天我们来聊一聊，在云计算和AI时代，运维应该如何做好转型？今天的内容可以说是我们前面运维组织架构和协作模式转型的姊妹篇。针对运维转型这个话题，谈谈我的思考和建议。 总结运维转型案例 我们先来看业界的三个典型案例，一个来自国外，一个来自国内，最后一个是我自己 ...
分类：
其他好文 时间：
2020-07-23 19:01:44
阅读次数：
73
