执行jps，有些未知进程： 2690 -- process information unavailable2666 原因：内存不足。 cd /tmp/hsperfdata_impala/ 执行ll后，发现其中正好有2个文件，删除这2个文件即可： -rw 1 impala impala 32768 J ...
分类：
系统相关 时间：
2019-07-10 01:02:28
阅读次数：
120
max_allowed_packet指的是服务器接收的包的大小，该值设置过小，可能导致数据写入失败，通常可以通过修改my.cnf或者在命令行通过set max_allowed_packet来实现。 但是在实际情况中，我们很多时候会遇到这样的一种情况：通过各种方式设置了max_allowed_pack ...
分类：
数据库 时间：
2019-07-01 10:30:01
阅读次数：
108
搜索的时候，要依靠倒排索引；排序的时候，需要依靠正排索引，看到每个document的每个field，然后进行排序，所谓的正排索引，其实就是doc values 在建立索引的时候，一方面会建立倒排索引，以供搜索用；一方面会建立正排索引，也就是doc values，以供排序，聚合，过滤等操作使用 doc ...
分类：
其他好文 时间：
2019-06-16 21:42:00
阅读次数：
125
ELK搭建一、elasticsearch环境安装：node1和node2都装上rpm--importhttps://packages.elastic.co/GPG-KEY-elasticsearch#安装yum源cat>>/etc/yum.repos.d/elaticsearch.repo<<EOF[elasticsearch-2.x]name=Elasticsearchr
分类：
其他好文 时间：
2019-06-09 23:53:04
阅读次数：
140
今天发现进程一直被杀掉，几经排查，最后确认是被oom killer杀掉了。 在内核检测到系统内存不足后，会触发oom killer，挑选最占用内存的进程杀掉。 Linux 分配内存策略 Linux内核根据应用程序的要求来分配内存，由于进程实际上并不会将分配的内存全部使用，所以，为了提高性能，内核采用 ...
分类：
系统相关 时间：
2019-06-07 12:52:08
阅读次数：
180
解决方式： 1.通过在命令行中输入“where java”，找到除jdk目录下的所有java相关程序，直接删掉（一般会在C:\WINDOWS\system32下） 2.内存不足，打开Eclipse目录下的eclipse.ini，把里面的-Xmx512m改成-Xmx256m 3.检查环境变量，path ...
分类：
系统相关 时间：
2019-06-06 15:32:16
阅读次数：
127
原因：idea的内存不足，导致打包失败！！ ...
分类：
其他好文 时间：
2019-06-05 17:48:20
阅读次数：
136
RDD作为弹性分布式数据集，它的弹性具体体现在以下七个方面。 1．自动进行内存和磁盘数据存储的切换 Spark会优先把数据放到内存中，如果内存实在放不下，会放到磁盘里面，不但能计算内存放下的数据，也能计算内存放不下的数据。如果实际数据大于内存，则要考虑数据放置策略和优化算法。当应用程序内存不足时，S ...
分类：
其他好文 时间：
2019-06-04 20:56:29
阅读次数：
142
原标题:蜡炬教育：如何处理机器学习中大型数据的加载问题？蜡炬教育老师表示，在处理机器学习算法时，经常会因为数据库太大而导致无法放入内存中，而遇到这样几个问题：当运行数据集算法而导致崩溃时如何解决？当需要处理大容量数据文件时该如何加载？如何方便快捷的解决内存不足的问题？针对以上问题，蜡炬教育老师给出7个建议：1.分配更多内存某些ML工具或数据库默认内存配置不合理，可以看看是否可以手动分配。2.使用较
分类：
其他好文 时间：
2019-05-29 13:06:13
阅读次数：
120
