- 浏览: 32947 次
- 性别:
- 来自: 西安
最新评论
文章列表
java.sql.SQLException: 无效的列索引
“无效的列索引”其实是个低级的错误,原因无非几个:
1、sql串的?号数目和提供的变量数目不一致:
例如:jdbcTemplate.update(sql, new Object[] {newState,oldState});
如果sql里面有1个?号,Object[]送了2个,就会报错。
2、sql串里的?号书写不正确
英文?和中文?有时难以区分。
3、sql串的?号用''括了起来。
例如:sql="UPDATE abc SET abc.name='?' WHERE abc.id='?'";
把''去掉就 ...
没有安装过集群的朋友,可能没有发现,hadoop版本没有64位的,我们在安装hadoop之前需要将hadoop源码包进行编译,否则lib下的部分jar包无法使用【有人可能会说hadoop不分操作系统的bit数,这个问题我有怎么会悄悄告诉你呢!!!!哈哈,开玩笑,接下来,给大家分享一下我第一次编译出现的糗事】
如果不编译会出现啥问题呢??你可以看俺
遇到的问题描述:
[root@db96 hadoop]# hadoop dfs -put ./in
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Inste ...
什么是 tput?
tput 命令将通过 terminfo 数据库对您的终端会话进行初始化和操作。通过使用tput,您可以更改几项终端功能,如移动或更改光标、更改文本属性,以及清除终端屏幕的特定区域。
什么是 terminfo 数据库?
UNIX 系统上的 terminfo 数据库用于定义终端和打印机的属性及功能,包括各设备(例如,终端和打印机)的行数和列数以及要发送至该设备的文本的属性。UNIX 中的几个常用程序都依赖 terminfo 数据库提供这些属性以及许多其他内容,其中包括 vi 和 emacs 编辑器以及 curses 和 man 程序。
tput 命令行简介
与 UNIX ...
问题来了:
1.hive使用derby作为元数据库找达到所创建表的原因?
2.为什么会找不到所创建的表?
根本没有小偷,是我们找错地方了》》》》
在学习环境中,我们习惯使用derby作为hive元数据库,也就是这个嵌入式数据库很可能为很多hive学习者造成很多问题。
问题场景:
1.命令行键入 hive后创建表,
2.在show tables; 显示表列表,上面显示刚才创建的表
3.把窗口关闭,再重新开个窗口连接服务器,键入hive ,然后show table,表看不到了
为什么会找不到创建的表,这个并没有消失,而是你的位置不对。
1.如果我们在home下面进入hive,那么我们的met ...
bc 命令:
bc 命令是用于命令行计算器。 它类似基本的计算器。 使用这个计算器可以做基本的数学运算。
语法:
语法是
bc [命令开关]
命令开关:
-c 仅通过编译。 bc命令的输出被发送到标准输出。
-l 定义数学函数并且初始化值为20,取代默认值0。
filename 文件名,它包含用于计算的计算器命令,这不是必须的命令。
示例:
1)bc
bc在默认的情况下是个交互式的指令。在bc工作环境下,可以使用以下计算符号:
+ 加法
- 减法
* 乘法
/ 除法
^ 指数
% 余数
如:
# bc
bc 1.06
Copyrigh ...
一、建立表时候,注意PCTFREE参数的作用
PCTFREE:为一个块保留的空间百分比,表示数据块在什么情况下可以被insert,默认是10,表示当数据块的可用空间低于10%后,就不可以被insert了,只能被用于update;即:当使用一个block时,在达到pctfree之前,该block是一直可以被插入的,这个时候处在上升期。
PCTUSED:是指当块里的数据低于多少百分比时,又可以重新被insert,一般默认是40,即40%,即:当数据低于40%时,又可以写入新的数据,这个时候处在下降期。
二、举例说明
假设你一个块可以存放100个数据, ...
一、准备条件以及备注
假设双方数据库都是ORACLE10g,需要同步过来的表名叫:GG_ZLX_ZHU,对方数据库用户名:username,密码:password,SID:CPEES。
二、开始干活
1、首先要创建DB_LINK
CREATE DATABASE LINK to_cpees
CONNECT TO "username" identified by "password"
using "CPEES"
其中CPEES为新建的到对方数据库的T ...
最近遇到Oracle 表中数据量很大查询和更新比较慢 需要删除,发现删除后查询速度还是很慢,原来是delete oracle 高水位没有下降的原因。
在oracle里,使用delete删除数据以后,数据库的存储容量不会减少,而且使用delete删除某个表的数据以后,查询这张表的速度和删除之前一样,不会发生变化。
因为oralce有一个HWM高水位,它是oracle的一个表使用空间最高水位线。当插入了数据以后,高水位线就会上涨,但是如果你采用delete语句删除数据的话,数据虽然被删除了,但是高水位线却没有降低,还是你刚才删除数据以前那么高的水位。除非使用truncate删除数据。那么,这条高水位 ...
1。set feedback
有三种方式:
set feedback on
set feedback off
set feedback n
默认的当一条sql发出的时候,oracle会给一个反馈,比如说创建表的时候,如果成功,命令行会返回类似:Table created的反馈,又比如执行一个pl/sql成功的时候,命令行会返回:PL/SQL procedure successfully completed 。当载脚本中运行很多语句的时候,一般将feedback设为off。
set feedback n:当一条sql语句返回n或者大于n行记录的时候,就会有feedback,比如:set feedb ...
写的不够全,后面有时间再补吧<个人汉语水平有限,语言组织平平,见谅>
hive CLI语言手册
【hive命令行操作】
可以使用命令 ./hive -H或./hive -help 查看帮助
(为hive0.9.0版使用)
usage: hive
-d,--define <key=value> hive中的变量替换应用
-e <quoted-query-string> 将hive的命令行不显示执行过程
-f <filename> 非交互执行hive脚本,脚本来源于一个可执行 ...
整理了一下网上的几种Hive文件存储格式的性能与Hadoop的文件存储格式。
Hive的三种文件格式:TEXTFILE、SEQUENCEFILE、RCFILE中,TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的,RCFILE是基于行列混合的思想,先按行把数据划分成N个row ...
今天是面试的第一天,从西安来北京这么久,感觉今天的挫败感好强,一直以来我都很努力的在要求自己。
从事hadoop方面学习一年多以来,学习效果也挺不错的,今天被自己打败了,问的问题后头一想就会了,当紧张时,什么低级错误都会出,这里我给自己记下一笔。这里哪些丢人的简单问题就不说了,给大家分享一些面试遇见的问题吧!
(1)介绍对半结构化数据与非结构化数据的处理经验
(2)hadoop这么强大,为什么还要结合R语言
(3)使用Hive自定义函数编写addmonths,实现输入一个月份,输出下个月份
(4)Hive不支持哪些函数,至少写出5个
(5)请说说hive原生态和封装使用的不同及优缺点 ...
Hadoop的家族如此之强大,为什么还要结合R语言?
a. Hadoop家族的强大之处,在于对大数据的处理,让原来的不可能(TB,PB数据量计算),成为了可能。
b. R语言的强大之处,在于统计分析,在没有Hadoop之前,我们对于大数据的处理 ...
【摘自hyj博主】
Hadoop为用户作业提供了多种可配置的参数,以允许用户根据作业特点调整这些参数值使作业运行效率达到最优。
一 应用程序编写规范
1.设置Combiner
对于一大批MapReduce程序,如果可以设置一个Combiner,那 ...
在mapreduce应用机制全部完成后,常面临一个常见问题“作业运行太慢”,此时我们需要通过一下几个方面进行调优,一边提升作业运行速度
(1)通过jobtracker的web界面可以查看到本次作业使用的mapper数量,查看每个mapper的平均运行时间,如果mapper运行时间过短(如每个mapper运行10多秒),此时苗明mapper没有得到良好的利用,我们需要减少mapper的数量,使每个maper运行更长的时间。mapper的运行时间取决于mapper输入数据的格式,因此我们可以调整mapper的输入格式。
(2)通过Jobtracker的web界面查看本次作业的reducer数量, ...