个推运维平台高级网络工程师山川随着互联网公司规模的扩大，企业对成本控制和数据安全的需求越来越高，大部分公司往往会自建机房，而非租用云服务器。个推在互联网数据中心（InternetDataCenter，简称IDC）网络规划和运营方面也经历了几次的迭代和变迁，同时，我们也对数据中心网络发展的历程进行了总结。我们将围绕IDC网络运营规划的基本要求、传统PC时代的网络架构、移动互联网和大数据时代的IDC网
分类：
其他好文 时间：
2020-10-09 21:23:35
阅读次数：
21
hadoop安装 1. 安装jdk a.复制jdk-xx.tar.gz 到~Downloads b.解压 c. 移动到/soft ； 创建软连接ln -s /soft/jdk-xxx jdk d.配置环境变量 [/etc/enviroment] JAVA_HOME=/soft/jdk PATH=". ...
分类：
其他好文 时间：
2020-10-09 21:22:17
阅读次数：
27
<repositories> <repository> <id>hadoop</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos</url> </repository> <dependency> <groupId> ...
分类：
其他好文 时间：
2020-10-08 19:30:36
阅读次数：
21
不看就亏系列！这里有完整的 Hadoop 集群搭建教程，和最易懂的 Hadoop 概念！| 附代码
分类：
其他好文 时间：
2020-10-08 18:37:04
阅读次数：
25
大数据是指无法在一定时间范围内用常规软件工具进行处理和分析的数据集合，需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能的海量、高增长率和多样性的信息资产
分类：
其他好文 时间：
2020-10-08 18:36:53
阅读次数：
17
1、Sqoop参数 /opt/module/sqoop/bin/sqoop import \ --connect \ --username \ --password \ --target-dir \ --delete-target-dir \ --num-mappers \ --fields-ter ...
分类：
其他好文 时间：
2020-10-06 21:17:18
阅读次数：
41
一、连接SQL package com.njbdqn.linkSql import java.util.Properties import org.apache.spark.sql.SparkSession import org.apache.spark.sql._ object LinkSql { ...
分类：
数据库 时间：
2020-10-06 20:52:59
阅读次数：
35
Receiver Direct offset注意点 ...
分类：
其他好文 时间：
2020-10-06 20:46:36
阅读次数：
26
shuffle阶段 概念 shule 是 Mapreduce 的核心，它分布在 Mapreduce 的 map 阶段和 reduce 阶段。一般把从 Map 产生输出开始到 Reduce 取得数据作为输入之前的过程称作 shule。 一张图看懂Mapreduce全过程 概念解释 Collect阶段 ...
分类：
其他好文 时间：
2020-10-05 21:45:42
阅读次数：
32
