金山云-文档中心-Hadoop-KS3更新&下载

Hadoop-KS3简介

Hadoop-ks3 是面向金山云 KS3 对象存储的 Hadoop 文件系统客户端，严格实现了 Hadoop 的 FileSystem 与 AbstractFileSystem 接口。通过该组件，大数据生态中的 Spark、Hive、Flink 等计算引擎可无缝使用 ks3:// 协议直接读写 KS3 中的数据，整个过程无需额外挂载或显式数据同步，从而实现计算与存储的高效解耦。

更新记录和下载地址

v3.1.1-1.3.8 — 2026-06-12

下载地址：https://gaea-release.ks3-cn-beijing.ksyuncs.com/hadoop-ks3/20260612/hadoop-ks3-3.1.1-1.3.8.jar

更新说明

升级ks3-kss-java-sdk 版本升级 1.1.0 -> 1.8.0

fs.ks3.request.attempts.maximum改为指数退避策略(第1次重试约1s，第2次2s，第3次4s...最大32s，加上±50%随机jitter)
ks3Client 改为 volatile
renewKs3Client 关闭旧 client

v3.1.1-1.3.7 — 2026-01-19

下载地址：https://gaea-release.ks3-cn-beijing.ksyuncs.com/hadoop-ks3/20260119/hadoop-ks3-3.1.1-1.3.7.jar

说明

修复空文件或小文件 copyObject 时因没有上传 part 就调用 completeMultipartUpload 导致的 InvalidArgument 异常

v3.1.1-1.3.6 — 2025-12-05

下载地址：https://gaea-release.ks3-cn-beijing.ksyuncs.com/hadoop-ks3/20251205/hadoop-ks3-3.1.1-1.3.6.jar

更新说明

修复 KS3 可恢复文件流关闭和上传逻辑，避免对已关闭流的操作

修复 flink-ks3 SDK 版本信息校验错误，credential 增加默认空实现防止 NPE

增强 STS 凭证管理功能，增加临时凭证定时监控与提前续期机制

v3.1.1-1.3.5 — 2025-10-23

下载地址：https://gaea-release.ks3-cn-beijing.ksyuncs.com/hadoop-ks3/20251023/hadoop-ks3-3.1.1-1.3.5.jar

更新说明

引入 STS 认证客户端支持动态获取临时 AK

v3.1.1-1.3.4 — 2025-09-26

下载：https://gaea-release.ks3-cn-beijing.ksyuncs.com/hadoop-ks3/20250926/hadoop-ks3-3.1.1-1.3.4.jar

日期	更新说明
2025-09-26	增加 Ranger 权限检查配置项及 accountId 支持
2025-09-26	优化 CommitInfoFileCommitter 类避免潜在数据安全问题

v3.1.1-1.3.3 — 2025-06-13

下载地址：https://gaea-release.ks3-cn-beijing.ksyuncs.com/hadoop-ks3/20250613/hadoop-ks3-3.1.1-1.3.3.jar

更新说明

修复 Ks3FileReadTask 中的逻辑问题，确保正确处理异常

移除刷新周期参数，获取的 temp AK/SK 中包含过期时间

v3.1.1-1.3.2 — 2025-03-13

下载地址：https://gaea-release.ks3-cn-beijing.ksyuncs.com/hadoop-ks3/20250313/hadoop-ks3-3.1.1-1.3.2.jar

更新说明

RangerAuthProvider 使用前需先获取 temp AK/SK

修改 ExceptionHandler 逻辑，不需要所有异常都 renew client

flink-ks3-hdfs 升级 hadoop-ks3 版本

速度监控及宽容期；abort 断开；重复 commit upload ID；shadow copy 信息

增加 KS3 默认重试次数，shadow copy 默认阈值增大

upload 增加 sleep 参数；下载分块 1M→100M

支持通配符 list 文件

根据文件大小选择 multipart copy

修复服务端大量 CLOSE_WAIT 连接

从 gaeaRangerServerConf 获取 AK/SK；renewKs3Client 默认使用 Ks3AuthorizationProvider；GaeaObject 共用 RangerCredentialsClient

并行 copy/delete 使用线程池方式；默认文件后缀白名单；移除 copyAction

增加从 IAM 获取 STS 逻辑

Endpoint 支持 HTTPS 模式访问 KS3

hadoop-ks3 参数默认值调整

增加多线程下载 KS3 文件；InputStream 使用 reopen 方式

版本发布 v3.1.1-1.1.3

Flink 读取 KS3 针对 IOException 增加失败重试

commit 阶段避免 list 已知的 subDir

避免连接重试问题

shade 同时包含 gaea-ranger-interface.jar

客户端 FileSystem 重写 getDelegationToken 方法

添加缺失的依赖包

添加 shutdown 接口

客户端权限认证增加 Ranger Service 方式

更新 KS3 SDK 版本

支持 Token

适配 Gaea 客户端

v3.1.1-1.1.2 — 2022-12-02

下载地址：https://gaea-release.ks3-cn-beijing.ksyuncs.com/hadoop-ks3/20221202/hadoop-ks3-3.1.1-1.1.2.jar

更新说明

版本发布，基于 Hadoop 3.1.1

支持从环境变量获取配置

升级 hadoop-ks3 版本；添加 uploadPart 重载方法

添加 snapshot 支持

添加 synchronized；Ks3OutputStream 单字节数组改为 final

添加 fix length 支持

修复 abort task 删除问题；修复重试中幂等操作

添加 flink-ks3 模块

修复 alluxio list 问题；修复 conveyor 资源泄漏

修改 fs.ks3.multipart.uploads.block.size 默认值

修复 FileSystem SPI；添加新 KS3 域名支持

修复 delete 不忽略 404 的问题

添加 checkTargetLength 选项

修复 alluxio bug