大数据开发总体架构： Hadoop是大数据开发所使用的一个核心框架。使用Hadoop可以方便的管理分布式集群，将海量数据分布式的存储在集群中，并使用分布式并行程序来处理这些数据。 Hadoop由许多子系统组成，如下图： Hadoop1.x与2.x的对比： YARN：管理集群资源（内存、CPU） ...
分类：
其他好文 时间：
2020-03-17 19:30:09
阅读次数：
49
cross-env相信大家都用过，这里就不过多描述，首先我们来安装cross-env npm install cross-env 或者yarn add cross-env 安装完成之后就可以在项目中使用，有些脚手架自带有cross-env（Ant-Design-Pro）所以就省去安装了 今天给大家介 ...
分类：
其他好文 时间：
2020-03-17 14:10:15
阅读次数：
256
YARN YARN是什么? YARN是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 如果没有YARN! 无法管理集群资源分配问题。 无法合理的给程序分配合理的资源。 不方便监控 ...
分类：
其他好文 时间：
2020-03-17 13:51:21
阅读次数：
82
cd find . -type d -name ".git"|xargs rm -rf find . -type d -name ".svn"|xargs rm -rf rm -fr .git git init git add . git commit -m "first" git remote a ...
分类：
其他好文 时间：
2020-03-16 14:54:23
阅读次数：
110
记录工作或者学习中包管理安装丶更新依赖遇到的问题： 一：vue项目 yan run build打包时候提示 To use this template, you must update following to modules: npm: 6.5.0-next.0 should be >= 3.0.0 ...
分类：
其他好文 时间：
2020-03-16 12:32:28
阅读次数：
100
总结一下大数据开发基本常识： JDK（做java开发必备的开发工具包） Hadoop（Apache开发的分布式系统的基础框架）三大组件：MapReduce，Yarn，Hdfs Sqoop（数据迁移，清洗） Kettle（数据清洗，格式转换） Hive（基于Hadoop的数据仓库，并不是数据库，需要安 ...
分类：
系统相关 时间：
2020-03-15 22:17:01
阅读次数：
90
centos7 ssh dockerfile FROM centos:centos7.7.1908 RUN yum -y install wget RUN rm -rf /etc/yum.repos.d/* RUN cd /etc/yum.repos.d/ \ && wget http://mirr ...
分类：
其他好文 时间：
2020-03-15 11:46:34
阅读次数：
75
实用场景 1、新功能上线，影响到老功能，但是没时间测试老功能，可以使用 自动化遍历回归 合理划分接口测试 和 UI测试的比例和业务边界 服务端返回的数据 校验 --接口 数据展示、界面交互 --UI 类似爬虫，然后和老功能比对，进行分析 monkey：上线前跑10分钟，没有crash ，app就可以 ...
分类：
其他好文 时间：
2020-03-15 11:42:26
阅读次数：
99
Centos7网络配置 1、常用命令 ip addr：查看ip和物理地址 ls: 列出目录 cd：切换目录 pwd：显示目前的目录 mkdir：创建一个新的目录 rmdir：删除一个空的目录 cp: 复制文件或目录 rm: 移除文件或目录 mv: 移动文件与目录，或修改文件与目录的名称 vi：编辑 ...
分类：
其他好文 时间：
2020-03-15 00:13:55
阅读次数：
94
1. 在面试中可能会问到这个问题，什么是ORM？ ORM是对象关系映射(Object Relational Mapping)，简称ORM，或O/RM，或O/R mapping，是一种程序技术。 白话理解：就是把我们定义的对象(类)映射到对应的数据库的表上，所以ORM就是代码（软件）层面对于数据库表和 ...
分类：
其他好文 时间：
2020-03-14 23:33:36
阅读次数：
65
