分类: Hadoop
Java连接开启Kerberos认证的Kafka
概要描述
本文描述如何通过java连接开启Kerberos认证的Kafka
详细说明
maven项目添加依赖
在kafka的pod中获取kafka-clients-xxxx.jar与federation-utils-xxxx.……
Java连接开启安全的 HDFS 代码
概要描述
TDH 生产集群一般都是开启了 kerberos 认证,本实验演示在开启了 kerberos 认证的环境下,如何通过 java 访问 hdfs 服务
以下开发环境以IDEA + Windo……
Hyperdrive的SQL Bulkload
概要描述
本案例详细介绍hyperdrive的SQL Bulkload操作流程,以及注意事项;
同时简单介绍了hyperdrive与hyperbase的SQL Bulkload操作的区别;
详细说明
Bulkl……
Workflow Studio 3.1.1及以上 版本executor组件(agent)RPM包安装配置指南
概要描述
客户在使用各种代码文件运行workflow的时候,内部pod无法满足客户运行代码的环境需求,这个时候在客户将配置好的代码环境上安装workflow的外部execut……
DBAService SQL执行状态释疑
概要描述
本文主要介绍,DBAService Query页面,每种status的状态解释,以及常见状态异常问题。
DBAService中的和Query相关,Server/Executor状态等监控数据……
TDH 整体启动/停止的标准操作流程
概要描述
在一些场景中(例如服务器停机维护、更换硬件等),需要对 TDH 集群做整体的启动或停止操作,本文主要描述对 TDH 集群整体启动/停止的标准操作流程。……
bzip2压缩缓解text表文件占用过大问题
概要描述
同事反馈,集群中有一些textfile表文件过大,占用大量hdfs存储空间,本文主要介绍如何通过bzip2压缩方式减少hdfs占用。
标准的textfile是无压缩格式……
如何从流(slipstream)中动态插入orc单值分区表
概要说明
本案例描述如何将流上数据落入到分区分桶表中。
注意事项:
分区表目前只支持对TEXT表、ORC表、CSV表和Holodesk表分区;
holodesk表的分区需要提前……
Quark如何查看表占用空间的大小
原理描述
经常会遇到客户需要获取一张表占用空间的大小,或者需要清理空间、排查哪些表占用空间过大的诉求,这时候可以用到inceptor中的数据字典表system.tabl……
Inceptor sql 的 task 数量
概要描述
inceptor sql 提交后的 task 数目会影响性能,本文简单介绍一下决定一个 sql 对应的 task 数目的几个因素;
详细说明
主要分为 map 阶段 和 reduce ……