微笑丶
- 浏览: 32024 次
- 性别:
- 来自: 西安
-
最新评论
文章列表
java.sql.SQLException: 无效的列索引
“无效的列索引”其实是个低级的错误，原因无非几个：
1、sql串的?号数目和提供的变量数目不一致：
例如：jdbcTemplate.update(sql, new Object[] {newState,oldState});
如果sql里面有1个?号，Object[]送了2个，就会报错。
2、sql串里的?号书写不正确
英文?和中文？有时难以区分。
3、sql串的?号用''括了起来。
例如：sql="UPDATE abc SET abc.name='?' WHERE abc.id='?'";
把''去掉就 ...
没有安装过集群的朋友，可能没有发现，hadoop版本没有64位的，我们在安装hadoop之前需要将hadoop源码包进行编译，否则lib下的部分jar包无法使用【有人可能会说hadoop不分操作系统的bit数，这个问题我有怎么会悄悄告诉你呢！！！！哈哈，开玩笑，接下来，给大家分享一下我第一次编译出现的糗事】
如果不编译会出现啥问题呢？？你可以看俺
遇到的问题描述：
[root@db96 hadoop]# hadoop dfs -put ./in
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Inste ...
什么是 tput？
tput 命令将通过 terminfo 数据库对您的终端会话进行初始化和操作。通过使用tput，您可以更改几项终端功能，如移动或更改光标、更改文本属性，以及清除终端屏幕的特定区域。
什么是 terminfo 数据库？
UNIX 系统上的 terminfo 数据库用于定义终端和打印机的属性及功能，包括各设备（例如，终端和打印机）的行数和列数以及要发送至该设备的文本的属性。UNIX 中的几个常用程序都依赖 terminfo 数据库提供这些属性以及许多其他内容，其中包括 vi 和 emacs 编辑器以及 curses 和 man 程序。
tput 命令行简介
与 UNIX ...
问题来了：
1.hive使用derby作为元数据库找达到所创建表的原因？
2.为什么会找不到所创建的表？
根本没有小偷，是我们找错地方了》》》》
在学习环境中，我们习惯使用derby作为hive元数据库，也就是这个嵌入式数据库很可能为很多hive学习者造成很多问题。
问题场景：
1.命令行键入 hive后创建表，
2.在show tables; 显示表列表，上面显示刚才创建的表
3.把窗口关闭，再重新开个窗口连接服务器，键入hive ，然后show table，表看不到了
为什么会找不到创建的表，这个并没有消失，而是你的位置不对。
1.如果我们在home下面进入hive，那么我们的met ...
bc 命令:
bc 命令是用于命令行计算器。 它类似基本的计算器。 使用这个计算器可以做基本的数学运算。
语法:
语法是
bc [命令开关]
命令开关:
-c 仅通过编译。 bc命令的输出被发送到标准输出。
-l 定义数学函数并且初始化值为20，取代默认值0。
filename 文件名，它包含用于计算的计算器命令，这不是必须的命令。
示例:
1）bc
bc在默认的情况下是个交互式的指令。在bc工作环境下，可以使用以下计算符号：
+ 加法
- 减法
* 乘法
/ 除法
^ 指数
% 余数
如：
# bc
bc 1.06
Copyrigh ...
一、建立表时候，注意PCTFREE参数的作用
PCTFREE：为一个块保留的空间百分比，表示数据块在什么情况下可以被insert，默认是10，表示当数据块的可用空间低于10%后，就不可以被insert了，只能被用于update；即：当使用一个block时，在达到pctfree之前，该block是一直可以被插入的，这个时候处在上升期。
PCTUSED：是指当块里的数据低于多少百分比时，又可以重新被insert，一般默认是40,即40%，即：当数据低于40%时，又可以写入新的数据，这个时候处在下降期。
二、举例说明
假设你一个块可以存放100个数据， ...
一、准备条件以及备注
假设双方数据库都是ORACLE10g，需要同步过来的表名叫：GG_ZLX_ZHU，对方数据库用户名：username，密码：password，SID：CPEES。
二、开始干活
1、首先要创建DB_LINK
CREATE DATABASE LINK to_cpees
CONNECT TO "username" identified by "password"
using "CPEES"
其中CPEES为新建的到对方数据库的T ...
最近遇到Oracle 表中数据量很大查询和更新比较慢 需要删除，发现删除后查询速度还是很慢，原来是delete oracle 高水位没有下降的原因。
在oracle里,使用delete删除数据以后，数据库的存储容量不会减少，而且使用delete删除某个表的数据以后，查询这张表的速度和删除之前一样，不会发生变化。
因为oralce有一个HWM高水位，它是oracle的一个表使用空间最高水位线。当插入了数据以后，高水位线就会上涨，但是如果你采用delete语句删除数据的话，数据虽然被删除了，但是高水位线却没有降低，还是你刚才删除数据以前那么高的水位。除非使用truncate删除数据。那么，这条高水位 ...
1。set feedback
有三种方式：
set feedback on
set feedback off
set feedback n
默认的当一条sql发出的时候，oracle会给一个反馈，比如说创建表的时候，如果成功，命令行会返回类似：Table created的反馈，又比如执行一个pl/sql成功的时候，命令行会返回：PL/SQL procedure successfully completed 。当载脚本中运行很多语句的时候，一般将feedback设为off。
set feedback n:当一条sql语句返回n或者大于n行记录的时候，就会有feedback,比如：set feedb ...
写的不够全，后面有时间再补吧<个人汉语水平有限，语言组织平平，见谅>
hive CLI语言手册
【hive命令行操作】
可以使用命令 ./hive -H或./hive -help 查看帮助
（为hive0.9.0版使用）
usage: hive
-d,--define <key=value> hive中的变量替换应用
-e <quoted-query-string> 将hive的命令行不显示执行过程
-f <filename> 非交互执行hive脚本，脚本来源于一个可执行 ...
整理了一下网上的几种Hive文件存储格式的性能与Hadoop的文件存储格式。
Hive的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE是基于行列混合的思想，先按行把数据划分成N个row ...
今天是面试的第一天，从西安来北京这么久，感觉今天的挫败感好强，一直以来我都很努力的在要求自己。
从事hadoop方面学习一年多以来，学习效果也挺不错的，今天被自己打败了，问的问题后头一想就会了，当紧张时，什么低级错误都会出，这里我给自己记下一笔。这里哪些丢人的简单问题就不说了，给大家分享一些面试遇见的问题吧！
（1）介绍对半结构化数据与非结构化数据的处理经验
（2）hadoop这么强大，为什么还要结合R语言
（3）使用Hive自定义函数编写addmonths，实现输入一个月份，输出下个月份
（4）Hive不支持哪些函数，至少写出5个
（5）请说说hive原生态和封装使用的不同及优缺点 ...
Hadoop的家族如此之强大，为什么还要结合R语言？
a. Hadoop家族的强大之处，在于对大数据的处理，让原来的不可能（TB,PB数据量计算），成为了可能。
b. R语言的强大之处，在于统计分析，在没有Hadoop之前，我们对于大数据的处理 ...
【摘自hyj博主】
Hadoop为用户作业提供了多种可配置的参数，以允许用户根据作业特点调整这些参数值使作业运行效率达到最优。
一 应用程序编写规范
1.设置Combiner
对于一大批MapReduce程序，如果可以设置一个Combiner,那 ...
在mapreduce应用机制全部完成后，常面临一个常见问题“作业运行太慢”，此时我们需要通过一下几个方面进行调优，一边提升作业运行速度
（1）通过jobtracker的web界面可以查看到本次作业使用的mapper数量，查看每个mapper的平均运行时间，如果mapper运行时间过短（如每个mapper运行10多秒），此时苗明mapper没有得到良好的利用，我们需要减少mapper的数量，使每个maper运行更长的时间。mapper的运行时间取决于mapper输入数据的格式，因此我们可以调整mapper的输入格式。
（2）通过Jobtracker的web界面查看本次作业的reducer数量， ...