场景: 拿到了客户50个文件,平均每个文件大概40M左右的txt,文件在S3上,需要导入到数据库,40M解析出来大概是80W条左右的数据。 描述: 在刚开始执行导入时,因为数据验证复杂程度不同,每个文件耗时大概6到9分钟,执行到第20个文件之后,效率明显变低,执行到第 35个文件时free查看内存使 ...
分类:
系统相关 时间:
2019-05-22 12:46:57
阅读次数:
216
转:https://hbiao68.iteye.com/blog/2211734 在fedora14上直接yum install mysql mysqlserver装好mysql之后 用mysqladmin修改密码提示 mysqladmin: Can't turn off logging; erro ...
分类:
数据库 时间:
2019-05-22 11:24:06
阅读次数:
134
1、jar包问题,hadoop高版本中的htrace没有需要的类,需要从hadoop低版本里面复制一个jar包。 2、hdfs://mycluster/hbase mycluster必须在hosts文件中指定ip地址,否则无法找到 3、Operation category READ is not s ...
分类:
其他好文 时间:
2019-05-21 21:14:02
阅读次数:
204
记录SVN错误处理 错误提示: 解决方法有两个,一个是用sqlite清除下数据库wc.db的work_queue,这种网上说的比较多。我说下第二种方法:这个需要svn客户端的命令行 打开安装包,选Modify 勾选下Command 到工作目录下输入svn cleanup 收工,可以update和co ...
分类:
其他好文 时间:
2019-05-21 11:01:36
阅读次数:
131
题目链接: http://poj.org/problem?id=1707 Language: Default Sum of powers Time Limit: 1000MS Memory Limit: 10000K Total Submissions: 735 Accepted: 354 Desc ...
分类:
其他好文 时间:
2019-05-19 14:34:17
阅读次数:
152
图形界面 15.GUI 15.1设置窗体JFrame对象 package com.Aha.Best; import javax.swing.ImageIcon; import javax.swing.JFrame; public class TestJFrame extends JFrame { p ...
分类:
其他好文 时间:
2019-05-18 09:37:31
阅读次数:
128
UDE-12154: operation generated ORACLE error 12154
ORA-12154: TNS:could not resolve the connect identifier specified
分类:
数据库 时间:
2019-05-17 15:14:19
阅读次数:
398
Error: EPERM: operation not permitted, lstat 'C:\ngWorkspace\qd\node_modules\fsevents\node_modules' fsevents 这个依赖安装不上 可以使用 -f 指令 强制安装 ...
分类:
其他好文 时间:
2019-05-15 16:29:38
阅读次数:
1185
导读: GPU是Graphic Processor Unit的简称,顾名思义就是图形处理器。 GPU的概念最早是从图形工作站发展而来,从90年代的个人电脑普及开始,GPU迎来了其大发展的时代。 在90年代中期,桌面GPU经历了2D到3D的跨越,从此3D图形渲染取代2D成为PC游戏的主流 1. 移动G... ...
分类:
移动开发 时间:
2019-05-15 14:35:12
阅读次数:
221
解决报错Error initializing SparkContext.
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException):
Operation category READ is not supported in state standby.
分类:
其他好文 时间:
2019-05-15 09:59:47
阅读次数:
433