shell命令执行hive脚本(hive交互)
作者：longshenlmj
本文主要介绍了shell命令执行hive脚本(hive交互)，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
Hive执行方式
Hive的hql命令执行方式有三种：
1、CLI 方式直接执行
2、作为字符串通过shell调用hive –e执行（-S开启静默，去掉”OK”，”Time taken”）
3、作为独立文件，通过shell调用 hive –f或hive –i执行执行
方式1
键入“hive”，启动hive的cli交互模式。Set可以查看所有环境设置参数，并可以重设。其他命令如，
Use database 选择库
quit/exit 退出Hive的交互模式
set –v 显示Hive中的所有变量
set <key>=<value> 设置参数
执行本地shell ：!<cmd> 交互模式下可执行shell命令，例如（查看linux根目录下文件列表："!ls -l /;"）
操作云命令：dfs < command> 交互模式下直接操作hadoop命令如 dfs fs –ls
Hql语句 执行查询并输出到标准输出
add [FILE|JAR|ARCHIVE] <value> [<value>]* 增加一个文件到资源列表
list FILE 列出所有已经添加的资源方式二
Hql作为字符串在shell脚本中执行，如
hive -e "use ${database};select * from tb"
查询结果可以直接导出到本地本件（默认分隔符为\t）:
hive -e "select * from tb" > tb.txt如果需要查看执行步骤，则在命令前面添加
set –x
另外，在shell脚本中，字符串有两种定义方式:
1) 直接定义字符串对象：sql=”字符串”
2) 通过命令定义：sql=$(cat <<endtag 字符串endtag)方式可以将字符串复制给sql，执行hql命令的shell脚本如下：
####### execute hive ###### sql=$(cat <<!EOF USE pmp; set mapred.queue.names=queue3; drop table if exists people_targeted_delivery; create table people_targeted_delivery ( special_tag_id int, cnt bigint ); INSERT OVERWRITE LOCAL DIRECTORY '$cur_path/people_targeted_delivery' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' select special_tag_id,count(1) from t_pmp_special_user_tags group by special_tag_id; !EOF) ############ execute begin ########### echo $sql $HIVE_HOME/bin/hive -e "$sql" exitCode=$? if [ $exitCode -ne 0 ];then echo "[ERROR] hive execute failed!" exit $exitCode fi
方式三
将hql语句保存为独立文件，后缀名不限制，可以用.q或者.hql作为标识：
A，这个文件在cli模式下，用source命令执行，如：source ./mytest.hql
B，在shell中执行命令，如：hive -f mytest.sql
Hive指定预执行文件命令“hive –i”（或叫初始化文件）
命令：hive -i hive-script.sql
在hive启动cli之前，先执行指定文件（hive-script.sql）中的命令。
也就是说，允许用户在cli启动时预先执行一个指定文件，比如，有一些常用的环境参数设置，频繁执行的命令，可以添加在初始化文件中，比如，
某些参数设置
set mapred.queue.names=queue3;
SET mapred.reduce.tasks=14;
添加udf文件
add JAR ./playdata-hive-udf.jar;
设置Hive的日志级别
hive -hiveconf hive.root.logger=INFO;
到此这篇关于shell命令执行hive脚本(hive交互)的文章就介绍到这了,更多相关shell命令执行hive内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！