全部文档
当前文档
最近更新时间：2026-06-05 18:15:29
Hadoop-ks3 是面向金山云 KS3 对象存储的 Hadoop 文件系统客户端，严格实现了 Hadoop 的 FileSystem 与 AbstractFileSystem 接口。通过该组件，大数据生态中的 Spark、Hive、Flink 等计算引擎可无缝使用 ks3:// 协议直接读写 KS3 中的数据，整个过程无需额外挂载或显式数据同步，从而实现计算与存储的高效解耦。
下载地址：https://gaea-release.ks3-cn-beijing.ksyuncs.com/hadoop-ks3/20260119/hadoop-ks3-3.1.1-1.3.7.jar
JIRA | 说明 |
KS3-HDFS-148 | 修复空文件或小文件 copyObject 时因没有上传 part 就调用 completeMultipartUpload 导致的 InvalidArgument 异常 |
下载地址：https://gaea-release.ks3-cn-beijing.ksyuncs.com/hadoop-ks3/20251205/hadoop-ks3-3.1.1-1.3.6.jar
JIRA | 日期 | 说明 |
KS3-HDFS-147 | 2025-12-23 | 修复 KS3 可恢复文件流关闭和上传逻辑，避免对已关闭流的操作 |
KS3-HDFS-146 | 2025-12-19 | 修复 flink-ks3 SDK 版本信息校验错误，credential 增加默认空实现防止 NPE |
KS3-HDFS-145 | 2025-12-05 | 增强 STS 凭证管理功能，增加临时凭证定时监控与提前续期机制 |
下载地址：https://gaea-release.ks3-cn-beijing.ksyuncs.com/hadoop-ks3/20251023/hadoop-ks3-3.1.1-1.3.5.jar
JIRA | 说明 |
KS3-HDFS-144 | 引入 STS 认证客户端支持动态获取临时 AK |
下载：https://gaea-release.ks3-cn-beijing.ksyuncs.com/hadoop-ks3/20250926/hadoop-ks3-3.1.1-1.3.4.jar
JIRA | 说明 |
KS3-HDFS-143 | 增加 Ranger 权限检查配置项及 accountId 支持 |
KS3-HDFS-142 | 优化 CommitInfoFileCommitter 类避免潜在数据安全问题 |
下载地址：https://gaea-release.ks3-cn-beijing.ksyuncs.com/hadoop-ks3/20250613/hadoop-ks3-3.1.1-1.3.3.jar
JIRA | 说明 |
KS3-HDFS-140 | 修复 Ks3FileReadTask 中的逻辑问题，确保正确处理异常 |
KS3-HDFS-139 | 移除刷新周期参数，获取的 temp AK/SK 中包含过期时间 |
下载地址：https://gaea-release.ks3-cn-beijing.ksyuncs.com/hadoop-ks3/20250313/hadoop-ks3-3.1.1-1.3.2.jar
JIRA | 日期 | 说明 |
KS3-HDFS-138 | 2025-03-12 | RangerAuthProvider 使用前需先获取 temp AK/SK |
KS3-HDFS-137 | 2025-03-11 | 修改 ExceptionHandler 逻辑，不需要所有异常都 renew client |
KS3-HDFS-138 | 2025-02-20 | flink-ks3-hdfs 升级 hadoop-ks3 版本 |
KS3-HDFS-136 | 2025-01-09 | 速度监控及宽容期；abort 断开；重复 commit upload ID；shadow copy 信息 |
KS3-HDFS-135 | 2024-11-22 | 增加 KS3 默认重试次数，shadow copy 默认阈值增大 |
KS3-HDFS-134 | 2024-11-18 | upload 增加 sleep 参数；下载分块 1M→100M |
KS3-HDFS-133 | 2024-11-09 | 支持通配符 list 文件 |
KS3-HDFS-132 | 2024-10-15 | 根据文件大小选择 multipart copy |
KS3-HDFS-130 | 2024-10-12 | 修复服务端大量 CLOSE_WAIT 连接 |
GAEA-17 | 2024-08-01 | 从 gaeaRangerServerConf 获取 AK/SK；renewKs3Client 默认使用 Ks3AuthorizationProvider；GaeaObject 共用 RangerCredentialsClient |
KS3-HDFS-129 | 2024-08-26 | 并行 copy/delete 使用线程池方式；默认文件后缀白名单；移除 copyAction |
GAEA-16 | 2024-07-25 | 增加从 IAM 获取 STS 逻辑 |
GAEA-13 | 2024-07-17 | Endpoint 支持 HTTPS 模式访问 KS3 |
GAEA-12 | 2024-07-17 | hadoop-ks3 参数默认值调整 |
GAEA-10 | 2024-07-11 | 增加多线程下载 KS3 文件；InputStream 使用 reopen 方式 |
GAEA-9 | 2024-04-09 | 版本发布 v3.1.1-1.1.3 |
GAEA-7 | 2024-03-28 | Flink 读取 KS3 针对 IOException 增加失败重试 |
— | 2024-03-18 | commit 阶段避免 list 已知的 subDir |
KS3-HDFS-110 | 2024-01-29 | 避免连接重试问题 |
KS3-HDFS-108 | 2023-12-29 | shade 同时包含 gaea-ranger-interface.jar |
KS3-HDFS-103 | 2023-12-11 | 客户端 FileSystem 重写 getDelegationToken 方法 |
KS3-HDFS-95 | 2023-11-20 | 添加缺失的依赖包 |
KS3-HDFS-87 | 2023-10-17 | 添加 shutdown 接口 |
KS3-HDFS-80 | 2023-10-16 | 客户端权限认证增加 Ranger Service 方式 |
— | 2023-02-08 | 更新 KS3 SDK 版本 |
— | 2023-02-03 | 支持 Token |
— | 2022-12-27 | 适配 Gaea 客户端 |
下载地址：https://gaea-release.ks3-cn-beijing.ksyuncs.com/hadoop-ks3/20221202/hadoop-ks3-3.1.1-1.1.2.jar
JIRA | 日期 | 说明 |
— | 2022-12-02 | 版本发布，基于 Hadoop 3.1.1 |
— | 2022-11-08 | 支持从环境变量获取配置 |
— | 2022-09-06 | 升级 hadoop-ks3 版本；添加 uploadPart 重载方法 |
— | 2022-06-17 | 添加 snapshot 支持 |
— | 2022-03-24 | 添加 synchronized；Ks3OutputStream 单字节数组改为 final |
— | 2022-03-23 | 添加 fix length 支持 |
— | 2022-03-22 | 修复 abort task 删除问题；修复重试中幂等操作 |
— | 2022-02-24 | 添加 flink-ks3 模块 |
— | 2022-02-17 | 修复 alluxio list 问题；修复 conveyor 资源泄漏 |
— | 2022-02-10 | 修改 fs.ks3.multipart.uploads.block.size 默认值 |
— | 2021-11-26 | 修复 FileSystem SPI；添加新 KS3 域名支持 |
— | 2021-11-12 | 修复 delete 不忽略 404 的问题 |
— | 2021-10-29 | 添加 checkTargetLength 选项 |
— | 2021-10-19 | 修复 alluxio bug |
纯净模式
