hive无法insert数据（hive不支持insert into操作吗）
csdh11 2025-03-26 11:12 17 浏览
hive版本hive-1.1.2
同事反馈一个客户端使用op无法正常插入数据，SQL如下
hive --hiveconf mapreduce.job.queuename=root.normal_queues.backstage.yfzx.op --hiveconf mapreduce.job.name="client_10.142.97.123:3000420211211:hql##pdwd.pdwd_pf_test2:1:dwarch:20210908_1:xiaoli" -e "insert overwrite table pdwd.pdwd_pf_test2 PARTITION (pt = '20211211')
select path from yfzx.hdfs_fsimage_analyze where dt = '20211212' and ns in ('ns3');"yfzx.hdfs_fsimage_analyze表是创建在ns2，表pdwd.pdwd_pf_test2是创建在ns3，执行时抛出如下异常：
乍一看，以为是kerberos问题。他怀疑是两个表跨ns导致不能insert的。我做了如下一个测试
insert overwrite table pdwd.pdwd_pf_test2 PARTITION (pt = '20211211') select 'test_path';执行也是抛出上面的异常，通过这个测试排除跨ns问题导致的。也就是当前op用户写入到ns3就是不行。于是去查看yarn的详细日志，看到的异常信息和上面差不多，但是info信息里发现了如下信息：
我们看到这个info里有ns3和ns4,于是去查看该节点的hive-site配置文件，发现了ns4的踪影，如下
因为这个表是写ns3的，于是把这些配置都改成写入ns3,重新执行上面SQL，SQL成功执行。通过这个问题我们发现，kerberos异常是表象，用kerberos知识去解决是解决不了的，我们要多留意有用的信息。这个确实是跨域导致无法写入，但是不是读表和写表跨域导致的，而是mr执行中间过程跨域导致的，也就是参数hive.exec.scratchdir导致
相关推荐
- 探索Java项目中日志系统最佳实践:从入门到精通
-
探索Java项目中日志系统最佳实践：从入门到精通在现代软件开发中，日志系统如同一位默默无闻却至关重要的管家，它记录了程序运行中的各种事件，为我们排查问题、监控性能和优化系统提供了宝贵的依据。在Java...
- 用了这么多年的java日志框架，你真的弄懂了吗?
-
在项目开发过程中，有一个必不可少的环节就是记录日志，相信只要是个程序员都用过，可是咱们自问下，用了这么多年的日志框架，你确定自己真弄懂了日志框架的来龙去脉嘛？下面笔者就详细聊聊java中常用日志框架的...
- 物理老师教你学Java语言(中篇)（物理专业学编程）
-
第四章物质的基本结构——类与对象...
- 一文搞定!Spring Boot3 定时任务操作全攻略
-
各位互联网大厂的后端开发小伙伴们，在使用SpringBoot3开发项目时，你是否遇到过定时任务实现的难题呢？比如任务调度时间不准确，代码报错却找不到方向，是不是特别头疼？如今，随着互联网业务规模...
- 你还不懂java的日志系统吗 ?（java的日志类）
-
一、背景在java的开发中，使用最多也绕不过去的一个话题就是日志，在程序中除了业务代码外，使用最多的就是打印日志。经常听到的这样一句话就是“打个日志调试下”，没错在日常的开发、调试过程中打印日志是常干...
- 谈谈枚举的新用法--java（java枚举的作用与好处）
-
问题的由来前段时间改游戏buff功能，干了一件愚蠢的事情，那就是把枚举和运算集合在一起，然后运行一段时间后buff就出现各种问题，我当时懵逼了！事情是这样的，做过游戏的都知道，buff，需要分类型，且...
- 你还不懂java的日志系统吗（javaw 日志）
-
一、背景在java的开发中，使用最多也绕不过去的一个话题就是日志，在程序中除了业务代码外，使用最多的就是打印日志。经常听到的这样一句话就是“打个日志调试下”，没错在日常的开发、调试过程中打印日志是常干...
- Java 8之后的那些新特性(三):Java System Logger
-
去年12月份log4j日志框架的一个漏洞，给Java整个行业造成了非常大的影响。这个事情也顺带把log4j这个日志框架推到了争议的最前线。在Java领域，log4j可能相对比较流行。而在log4j之外...
- Java开发中的日志管理:让程序“开口说话”
-
Java开发中的日志管理：让程序“开口说话”日志是程序员的朋友，也是程序的“嘴巴”。它能让程序在运行过程中“开口说话”，告诉我们它的状态、行为以及遇到的问题。在Java开发中，良好的日志管理不仅能帮助...
- OS X 效率启动器 Alfred 详解与使用技巧
-
问：为什么要在Mac上使用效率启动器类应用？答：在非特殊专业用户的环境下，（每天）用户一般可以在系统中进行上百次操作，可以是点击，也可以是拖拽，但这些只是过程，而我们的真正目的是想获得结果，也就是...
- Java中 高级的异常处理（java中异常处理的两种方式）
-
介绍异常处理是软件开发的一个关键方面，尤其是在Java中，这种语言以其稳健性和平台独立性而闻名。正确的异常处理不仅可以防止应用程序崩溃，还有助于调试并向用户提供有意义的反馈。...
- 【性能调优】全方位教你定位慢SQL，方法介绍下!
-
1.使用数据库自带工具...
- 全面了解mysql锁机制(InnoDB)与问题排查
-
MySQL/InnoDB的加锁，一直是一个常见的话题。例如，数据库如果有高并发请求，如何保证数据完整性？产生死锁问题如何排查并解决？下面是不同锁等级的区别表级锁：开销小，加锁快；不会出现死锁；锁定粒度...
- 看懂这篇文章，你就懂了数据库死锁产生的场景和解决方法
-
一、什么是死锁加锁（Locking）是数据库在并发访问时保证数据一致性和完整性的主要机制。任何事务都需要获得相应对象上的锁才能访问数据，读取数据的事务通常只需要获得读锁（共享锁），修改数据的事务需要获...
- 一周热门
- 最近发表
- 标签列表
-
- mydisktest_v298 (34)
- document.appendchild (35)
- 头像打包下载 (61)
- acmecadconverter_8.52绿色版 (39)
- word文档批量处理大师破解版 (36)
- server2016安装密钥 (33)
- mysql 昨天的日期 (37)
- parsevideo (33)
- 个人网站源码 (37)
- centos7.4下载 (33)
- mysql 查询今天的数据 (34)
- intouch2014r2sp1永久授权 (36)
- 先锋影音源资2019 (35)
- jdk1.8.0_191下载 (33)
- axure9注册码 (33)
- pts/1 (33)
- spire.pdf 破解版 (35)
- shiro jwt (35)
- sklearn中文手册pdf (35)
- itextsharp使用手册 (33)
- 凯立德2012夏季版懒人包 (34)
- 反恐24小时电话铃声 (33)
- 冒险岛代码查询器 (34)
- 128*128png图片 (34)
- jdk1.8.0_131下载 (34)