`
文章列表
java.sql.SQLException: 无效的列索引 “无效的列索引”其实是个低级的错误,原因无非几个: 1、sql串的?号数目和提供的变量数目不一致: 例如:jdbcTemplate.update(sql, new Object[] {newState,oldState}); 如果sql里面有1个?号,Object[]送了2个,就会报错。 2、sql串里的?号书写不正确 英文?和中文?有时难以区分。 3、sql串的?号用''括了起来。 例如:sql="UPDATE abc SET abc.name='?' WHERE abc.id='?'"; 把''去掉就 ...
没有安装过集群的朋友,可能没有发现,hadoop版本没有64位的,我们在安装hadoop之前需要将hadoop源码包进行编译,否则lib下的部分jar包无法使用【有人可能会说hadoop不分操作系统的bit数,这个问题我有怎么会悄悄告诉你呢!!!!哈哈,开玩笑,接下来,给大家分享一下我第一次编译出现的糗事】 如果不编译会出现啥问题呢??你可以看俺 遇到的问题描述: [root@db96 hadoop]# hadoop dfs -put ./in DEPRECATED: Use of this script to execute hdfs command is deprecated. Inste ...
什么是 tput? tput 命令将通过 terminfo 数据库对您的终端会话进行初始化和操作。通过使用tput,您可以更改几项终端功能,如移动或更改光标、更改文本属性,以及清除终端屏幕的特定区域。 什么是 terminfo 数据库? UNIX 系统上的 terminfo 数据库用于定义终端和打印机的属性及功能,包括各设备(例如,终端和打印机)的行数和列数以及要发送至该设备的文本的属性。UNIX 中的几个常用程序都依赖 terminfo 数据库提供这些属性以及许多其他内容,其中包括 vi 和 emacs 编辑器以及 curses 和 man 程序。 tput 命令行简介 与 UNIX ...
问题来了: 1.hive使用derby作为元数据库找达到所创建表的原因? 2.为什么会找不到所创建的表? 根本没有小偷,是我们找错地方了》》》》 在学习环境中,我们习惯使用derby作为hive元数据库,也就是这个嵌入式数据库很可能为很多hive学习者造成很多问题。 问题场景: 1.命令行键入 hive后创建表, 2.在show tables; 显示表列表,上面显示刚才创建的表 3.把窗口关闭,再重新开个窗口连接服务器,键入hive ,然后show table,表看不到了 为什么会找不到创建的表,这个并没有消失,而是你的位置不对。 1.如果我们在home下面进入hive,那么我们的met ...
bc 命令:      bc 命令是用于命令行计算器。 它类似基本的计算器。 使用这个计算器可以做基本的数学运算。 语法:   语法是      bc [命令开关] 命令开关:      -c 仅通过编译。 bc命令的输出被发送到标准输出。 -l 定义数学函数并且初始化值为20,取代默认值0。 filename 文件名,它包含用于计算的计算器命令,这不是必须的命令。 示例:      1)bc bc在默认的情况下是个交互式的指令。在bc工作环境下,可以使用以下计算符号: + 加法 - 减法 * 乘法 / 除法 ^ 指数 % 余数 如: # bc bc 1.06 Copyrigh ...
一、建立表时候,注意PCTFREE参数的作用       PCTFREE:为一个块保留的空间百分比,表示数据块在什么情况下可以被insert,默认是10,表示当数据块的可用空间低于10%后,就不可以被insert了,只能被用于update;即:当使用一个block时,在达到pctfree之前,该block是一直可以被插入的,这个时候处在上升期。       PCTUSED:是指当块里的数据低于多少百分比时,又可以重新被insert,一般默认是40,即40%,即:当数据低于40%时,又可以写入新的数据,这个时候处在下降期。 二、举例说明       假设你一个块可以存放100个数据, ...
一、准备条件以及备注       假设双方数据库都是ORACLE10g,需要同步过来的表名叫:GG_ZLX_ZHU,对方数据库用户名:username,密码:password,SID:CPEES。 二、开始干活       1、首先要创建DB_LINK       CREATE DATABASE LINK to_cpees       CONNECT TO "username" identified by "password"       using "CPEES"       其中CPEES为新建的到对方数据库的T ...
最近遇到Oracle 表中数据量很大查询和更新比较慢 需要删除,发现删除后查询速度还是很慢,原来是delete oracle 高水位没有下降的原因。 在oracle里,使用delete删除数据以后,数据库的存储容量不会减少,而且使用delete删除某个表的数据以后,查询这张表的速度和删除之前一样,不会发生变化。 因为oralce有一个HWM高水位,它是oracle的一个表使用空间最高水位线。当插入了数据以后,高水位线就会上涨,但是如果你采用delete语句删除数据的话,数据虽然被删除了,但是高水位线却没有降低,还是你刚才删除数据以前那么高的水位。除非使用truncate删除数据。那么,这条高水位 ...
1。set feedback 有三种方式: set feedback on set feedback off set feedback n 默认的当一条sql发出的时候,oracle会给一个反馈,比如说创建表的时候,如果成功,命令行会返回类似:Table created的反馈,又比如执行一个pl/sql成功的时候,命令行会返回:PL/SQL procedure successfully completed 。当载脚本中运行很多语句的时候,一般将feedback设为off。 set feedback n:当一条sql语句返回n或者大于n行记录的时候,就会有feedback,比如:set feedb ...
写的不够全,后面有时间再补吧<个人汉语水平有限,语言组织平平,见谅> hive CLI语言手册 【hive命令行操作】 可以使用命令 ./hive -H或./hive -help  查看帮助 (为hive0.9.0版使用) usage: hive -d,--define <key=value>         hive中的变量替换应用 -e <quoted-query-string>         将hive的命令行不显示执行过程 -f <filename>                    非交互执行hive脚本,脚本来源于一个可执行 ...
整理了一下网上的几种Hive文件存储格式的性能与Hadoop的文件存储格式。 Hive的三种文件格式:TEXTFILE、SEQUENCEFILE、RCFILE中,TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的,RCFILE是基于行列混合的思想,先按行把数据划分成N个row ...
   今天是面试的第一天,从西安来北京这么久,感觉今天的挫败感好强,一直以来我都很努力的在要求自己。    从事hadoop方面学习一年多以来,学习效果也挺不错的,今天被自己打败了,问的问题后头一想就会了,当紧张时,什么低级错误都会出,这里我给自己记下一笔。这里哪些丢人的简单问题就不说了,给大家分享一些面试遇见的问题吧! (1)介绍对半结构化数据与非结构化数据的处理经验 (2)hadoop这么强大,为什么还要结合R语言 (3)使用Hive自定义函数编写addmonths,实现输入一个月份,输出下个月份 (4)Hive不支持哪些函数,至少写出5个 (5)请说说hive原生态和封装使用的不同及优缺点 ...
Hadoop的家族如此之强大,为什么还要结合R语言? a. Hadoop家族的强大之处,在于对大数据的处理,让原来的不可能(TB,PB数据量计算),成为了可能。 b. R语言的强大之处,在于统计分析,在没有Hadoop之前,我们对于大数据的处理 ...
【摘自hyj博主】 Hadoop为用户作业提供了多种可配置的参数,以允许用户根据作业特点调整这些参数值使作业运行效率达到最优。 一 应用程序编写规范 1.设置Combiner         对于一大批MapReduce程序,如果可以设置一个Combiner,那 ...
在mapreduce应用机制全部完成后,常面临一个常见问题“作业运行太慢”,此时我们需要通过一下几个方面进行调优,一边提升作业运行速度 (1)通过jobtracker的web界面可以查看到本次作业使用的mapper数量,查看每个mapper的平均运行时间,如果mapper运行时间过短(如每个mapper运行10多秒),此时苗明mapper没有得到良好的利用,我们需要减少mapper的数量,使每个maper运行更长的时间。mapper的运行时间取决于mapper输入数据的格式,因此我们可以调整mapper的输入格式。 (2)通过Jobtracker的web界面查看本次作业的reducer数量, ...
Global site tag (gtag.js) - Google Analytics