背景 MySQL 5.7及之前版本下修改配置，如果能动态修改的，可以用 语法，不能动态修改的，只能修改 配置文件，之后重启生效。如果需要持久化动态修改的参数，也只能同时修改 配置文件。 这个对云上环境不友好，毕竟云数据库上，大家无法直接远程底层虚拟机修改配置文件。针对如何持久化参数配置，在MySQL ...
分类：
数据库 时间：
2019-10-10 15:59:25
阅读次数：
109
① 对象的内存分配,总体上讲就是在堆上分配,对象主要分配在新生代的Eden区,少数情况也会直接分配在老年代。分配的规则并不是百分百固定的,其细节取决于当前使用的是哪一种垃圾收集器组合,还有虚拟机中与内存相关的参数配置。 对象优先在Eden区分配 大多数情况下,对象在新生代Eden区分配。当Eden区 ...
分类：
其他好文 时间：
2019-10-08 22:22:17
阅读次数：
90
MapReduce详细工作流程之Map阶段 如上图所示 1. 首先有一个200M的待处理文件 2. 切片：在客户端提交之前，根据参数配置，进行任务规划，将文件按128M每块进行切片 3. 提交：提交可以提交到本地工作环境或者Yarn工作环境，本地只需要提交切片信息和xml配置文件，Yarn环境还需要 ...
分类：
其他好文 时间：
2019-10-08 21:48:32
阅读次数：
129
创建实例 实例相关配置 常用参数配置具体使用方法 拦截器 ...
分类：
移动开发 时间：
2019-10-06 09:57:29
阅读次数：
92
scrapy框架之spider 爬取流程 Spider类定义如何爬取指定的一个或多个网站，包括是否要跟进网页里的链接和如何提取网页内容中的数据。 爬取的过程是类似以下步骤的循环： 1.通过指定的初始URL初始化Request，并指定回调函数。当Request下载完后，生成Response作为参数传给 ...
分类：
其他好文 时间：
2019-10-05 14:42:40
阅读次数：
61
参见 HDP2.4安装(五)：集群及组件安装 ，安装配置的spark版本为1.6, 在已安装HBase、hadoop集群的基础上通过 ambari 自动安装Spark集群，基于hadoop yarn 的运行模式。 目录： Spark集群安装 参数配置 测试验证 Spark集群安装： 在ambari ...
分类：
其他好文 时间：
2019-10-02 01:00:23
阅读次数：
123
HBase中JVM基本配置 在JVM中，默认情况下会设置minimum heap size 为 1/64 可用物理内存，并为maximum heap size设置 1/4 的物理可用内存（不过在Java8 之前，默认最大是1g）。当然，我们可以通过手动指定 JVM 参数，配置JVM的内存，例如： 在 ...
分类：
其他好文 时间：
2019-09-23 18:04:56
阅读次数：
129
Flume是一个分布式的、可靠的、高可用的海量日志采集、聚合和传输的系统。Java实现，插件丰富，模块分明。 数据流模型：Source-Channel-Sink 事务机制保证了消息传递的可靠性 一、基本组件 Event：消息的基本单位，有header和body组成。header是键值对的形式，bod ...
分类：
Web程序 时间：
2019-09-21 21:36:06
阅读次数：
148
sualVM是JDK自带的一个用于Java程序性能分析的工具 在JDK安装目录的bin文件夹下名称为 jvisualvm.exe 在左侧选择应用 （1）概述 应用程序和运行时环境的基本信息 基本参数 保存的数据 显示VisualVM存储的当前应用程序的信息 详细信息 JVM参数：配置的JVM启动的参 ...
分类：
其他好文 时间：
2019-09-19 19:17:07
阅读次数：
106
MySQL服务器参数介绍 MySQL获取配置信息路径 命令行参数 配置文件 MySQL配置参数的作用域 全局参数(需要重新登录才能生效) set global 参数名=参数值; set @@global.参数名:=参数值; 会话参数 set[session]参数名=参数值； set @@sessio ...
分类：
数据库 时间：
2019-09-18 09:11:32
阅读次数：
137
