分类: Hadoop
thumbnail

Java连接开启Kerberos认证的Kafka

概要描述 本文描述如何通过java连接开启Kerberos认证的Kafka 详细说明 maven项目添加依赖 在kafka的pod中获取kafka-clients-xxxx.jar与federation-utils-xxxx.……
thumbnail

Java连接开启安全的 HDFS 代码

概要描述 TDH 生产集群一般都是开启了 kerberos 认证,本实验演示在开启了 kerberos 认证的环境下,如何通过 java 访问 hdfs 服务 以下开发环境以IDEA + Windo……
thumbnail

Hyperdrive的SQL Bulkload

概要描述 本案例详细介绍hyperdrive的SQL Bulkload操作流程,以及注意事项; 同时简单介绍了hyperdrive与hyperbase的SQL Bulkload操作的区别; 详细说明 Bulkl……
thumbnail

Workflow Studio 3.1.1及以上 版本executor组件(agent)RPM包安装配置指南

概要描述 客户在使用各种代码文件运行workflow的时候,内部pod无法满足客户运行代码的环境需求,这个时候在客户将配置好的代码环境上安装workflow的外部execut……
thumbnail

DBAService SQL执行状态释疑

概要描述 本文主要介绍,DBAService Query页面,每种status的状态解释,以及常见状态异常问题。 DBAService中的和Query相关,Server/Executor状态等监控数据……
thumbnail

TDH 整体启动/停止的标准操作流程

概要描述 在一些场景中(例如服务器停机维护、更换硬件等),需要对 TDH 集群做整体的启动或停止操作,本文主要描述对 TDH 集群整体启动/停止的标准操作流程。……
thumbnail

bzip2压缩缓解text表文件占用过大问题

概要描述 同事反馈,集群中有一些textfile表文件过大,占用大量hdfs存储空间,本文主要介绍如何通过bzip2压缩方式减少hdfs占用。 标准的textfile是无压缩格式……
thumbnail

如何从流(slipstream)中动态插入orc单值分区表

概要说明 本案例描述如何将流上数据落入到分区分桶表中。 注意事项: 分区表目前只支持对TEXT表、ORC表、CSV表和Holodesk表分区; holodesk表的分区需要提前……
thumbnail

Quark如何查看表占用空间的大小

原理描述 经常会遇到客户需要获取一张表占用空间的大小,或者需要清理空间、排查哪些表占用空间过大的诉求,这时候可以用到inceptor中的数据字典表system.tabl……
thumbnail

Inceptor sql 的 task 数量

概要描述 inceptor sql 提交后的 task 数目会影响性能,本文简单介绍一下决定一个 sql 对应的 task 数目的几个因素; 详细说明 主要分为 map 阶段 和 reduce ……