Hive数据导出详解

 更新时间:2023年04月14日 14:05:04   作者:沧州精神卫生中心张医师  
hive是一个依赖Hadoop集群的数据处理平台,我们不仅需要对数据进行筛选处理,更需要进行导出,供我们多次重复使用,本文主要介绍了hive如何导出数据,感兴趣的小伙伴欢迎阅读

脚本之家 / 编程助手:解决程序员“几乎”所有问题!
脚本之家官方知识库 → 点击立即使用

一、数据导出是什么?

hive是一个依赖Hadoop集群的数据处理平台,我们不仅需要对数据进行筛选处理,更需要进行导出,供我们多次重复使用。

二、六大帮派

1.insert

insert有两种形式,加local上传到本地路径,不加local上传到集群

代码如下(示例):

1
2
3
4
5
6
insertlocal
 
insert overwrite local directory '/root/export/data/student' select * from student;
 
insert不加local(并将数据格式化)
insert overwrite directory '/student' row format delimited fields terminated by ',' select * from student;

2.Hadoop命令导出到本地

代码如下(示例):

1
hadoop dfs -get /user/hive/warehouse/hive.db/student/student.txt /root/export/data/student/

3.Hive shell命令导出

一个 > 是覆盖,两个>是追加

代码如下(示例):

1
bin/hive -e 'select * from hive.student' >> /root/export/data/student/student.txt

4.export导出到HDFS上

当该hdfs路径下有文件时或表存在,都不可导,与import连用。

代码如下(示例):

1
export table hive.student to '/user/hive/warehouse/hive.db/student';

5.Sqoop导出

将数据导出到window系统的mysql,并进行可视化操作

6.清除表中的数据(Truncate)——删库跑路

Truncate只能删除管理表,不能删除外部表的数据(但可以将外部表转为内部表哦,嘿嘿嘿)只是删除内部表的hdfs数据,元数据还在

1
2
3
4
5
内部转为外部表
alter table student set tblproperties('EXTERNAL'='TRUE')一定大写
 
截断表
Truncate table student;

总结

六大派别与五大帮派共同统治着数码武林,侠义精神深入人心,hive语句妇孺皆知。街头小巷上谈论着他们的英雄事迹,再一次掀起了学习hive秘籍的狂潮。或许现在人们学习的已经不再是傍身之计,更多的是对天下武功,为快不灭的热爱。有人的地方就会就有江湖,大数据时代亦是如此。

到此这篇关于Hive数据导出详解的文章就介绍到这了,更多相关Hive数据导出内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

蓄力AI

微信公众号搜索 “ 脚本之家 ” ,选择关注

程序猿的那些事、送书等活动等着你

原文链接:https://blog.csdn.net/m0_64644104/article/details/130139281

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若内容造成侵权/违法违规/事实不符,请将相关资料发送至 reterry123@163.com 进行投诉反馈,一经查实,立即处理!

相关文章

  • mysql "group by"与"order by"的研究--分类中最新的内容

    mysql "group by"与"order by"的研究--分类中最新的内容

    这两天让一个数据查询难了。主要是对group by 理解的不够深入。才出现这样的情况
    2010-06-06
  • 记一次SQL优化的实战记录

    记一次SQL优化的实战记录

    作为开发人员,我们免不了与sql打交道,有些sql可能在业务的最开始,执行是毫无问题的,但是随着业务量的提升以及业务复杂度的加 深,可能之前的sql就会需要优化了,下面这篇文章主要给大家介绍了关于一次SQL优化的实战记录,需要的朋友可以参考下
    2022-07-07
  • 数据库运维人员DBA工作总结

    数据库运维人员DBA工作总结

    中大型公司都会有一些专攻数据库方面的牛人,专门的职位叫做DBA,对于公司的DBA他们的价值不可小觑,只要是数据库,就有吞吐量的限制,数据库访问瓶颈便是自然流量增长或者流量突增造成的
    2023-10-10
  • influxdb数据库常用命令及SpringBoot整合

    influxdb数据库常用命令及SpringBoot整合

    这篇文章主要介绍了influxdb数据库常用命令及SpringBoot整合,Influxdb是一个开源的分布式时序、时间和指标数据库,使用go语言编写,无需外部依赖,需要的朋友可以参考下
    2023-07-07
  • sql注入之手工注入示例详解

    sql注入之手工注入示例详解

    之前和大家分享了基本的SQL注入的知识,这一篇讲的就是在得知注入点的之后,如何有效地进行脱裤。文章通过示例介绍的很详细,对大家的理解和学习很有帮助,下面来一起看看吧。
    2016-09-09
  • DeveloperSharp 高效分页使用详解

    DeveloperSharp 高效分页使用详解

    这篇文章主要为大家介绍了DeveloperSharp 高效分页使用详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-12-12
  • 写出高性能SQL语句的35条方法分析

    写出高性能SQL语句的35条方法分析

    高性能的SQL语句能提高页面的执行效率,让你的服务器运行的更为流畅,所以大家在以后的使用过程中,尽量的考虑到效率。
    2009-10-10
  • navicat如何执行.sql文件

    navicat如何执行.sql文件

    这篇文章主要介绍了navicat如何执行.sql文件问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-01-01
  • 一文告诉你Sql的执行顺序是怎样的

    一文告诉你Sql的执行顺序是怎样的

    这篇文章主要给大家介绍了关于Sql的执行顺序是怎样的,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-12-12
  • SQL数据库与oracle数据库镜像有什么不同对比

    SQL数据库与oracle数据库镜像有什么不同对比

    数据库镜像是将数据库事务处理从一个数据库移动到不同环境中的另一个数据库中。镜像的拷贝是一个备用的拷贝,不能直接访问,它只用在错误恢复的情况下。
    2010-03-03

最新评论