最近更新时间:2026-11-18 17:42:29
Select Object Content是金山云对象存储 KS3 提供的服务端数据查询功能。用户可通过标准 SQL 子集对存储在 KS3 中的对象进行过滤检索,KS3 在服务端完成数据过滤后,仅返回符合条件的目标数据,无需将整个文件下载到本地或计算节点再处理。使用 Select Object Content 必须拥有所查询对象的 KS3:GetObject 权限。
节省带宽与成本:无需下载全量文件,仅传输符合条件的结果数据,大幅降低公网流量与计算资源消耗。
提升查询效率:服务端直接过滤,避免本地全量读取与二次处理,响应更快。
降低迁移成本:请求格式与 AWS S3 Select 接近,但响应为纯文本流(非 AWS Event Stream 分块),跨云迁移需适配响应读取方式。
Select Object Content 适用于从 GB/TB 级大文件中提取少量目标数据的场景,典型包括:
日志分析:从海量访问日志、业务日志中按条件筛选目标记录。
大数据离线查询:对存储在对象存储中的结构化/半结构化数据做轻量查询,无需引入额外计算集群。
业务报表提取:从大体积 CSV/JSON 数据文件中抽取指定列与行,生成报表。
合规数据检索:按条件检索归档或冷归档数据中的特定记录(需先解冻)。
Select Object Content 支持检索以下格式的对象数据:
CSV 格式:对象以 CSV 格式存储,以固定分隔符划分。支持自定义分隔符、引号字符、转义字符、表头识别等配置。
JSON 格式:对象以 JSON 格式存储,支持两种类型:
Document:整个文件为一个独立的 JSON 对象或对象数组(数组时每个元素作为一行),可跨多行。
Lines:文件每一行为一个独立的 JSON 对象。
输入对象格式与输出结果格式无需匹配,例如可以检索 JSON 格式对象并将结果保存为 CSV 格式。
KS3 Select 的对象必须以 UTF-8 格式编码。暂不支持 GBK 等其他编码。
限制项 | 说明 |
文件大小上限 | API 最大支持 512MB;控制台最大支持 128MB 文件和 40MB 的提取结果 |
SQL 表达式长度 | 最大 16KB(UTF-8 字节),超限返回 InvalidArgument |
查询对象数量 | 每个请求只能查询一个对象,不支持多对象联合查询 |
CSV 列数 | 单行最多 999 列,超出返回 CSVParsingError |
CSV 单字段长度 | 单个字段最多 10240 个字符,超出返回 CSVParsingError |
JSON LINES | 单行 ≤ 10MB,超出返回 JSONParsingError |
JSON DOCUMENT | 单个 JSON 对象 ≤ 10MB,超出返回 JSONObjectTooLarge |
WHERE 子句 | 不支持聚合;支持比较、逻辑、模式匹配、集合、范围、NULL/布尔判断 |
LIKE 通配符 | % 匹配任意字符,_ 匹配单字符;受 SQL 表达式 16KB 上限约束,无额外数量限制 |
IN 语句 | 受 SQL 表达式 16KB 上限约束,无额外数量限制 |
并发限制 | 受平台配额限制,超限返回 429 TooManyRequests,具体数值以平台配置为准 |
归档类对象 | 归档、冷归档、深度冷归档存储类型必须解冻且处于可读状态后才可检索,未解冻返回 403 InvalidObjectState |
压缩格式 | 不支持对 GZIP、BZIP2、Snappy 等压缩格式文件的检索 |
编码格式 | 仅支持 UTF-8 编码,非 UTF-8 返回 InvalidTextEncoding |
加密对象 | 仅支持 SSE-KS3 服务端加密对象;SSE-C/SSE-KMS 返回 400;客户端自行加密对象返回 InvalidTextEncoding |
Range 请求 | 不支持 Range 分段查询,Range 请求头会被忽略,查询结果仍为全量查询。 |
高阶 SQL | 不支持 JOIN、GROUP BY、HAVING、OFFSET、ORDER BY、DISTINCT、UNION、INTERSECT、EXCEPT、WITH(CTE)、子查询、CASE WHEN、窗口函数、QUALIFY、STREAM、多语句、末尾分号、非查询语句(INSERT/UPDATE/DELETE/MERGE) |
回收站内文件不支持检索,必须恢复后才可检索
KS3 Select 支持检索服务端加密的对象。完全支持金山云托管密钥(SSE-KS3)的服务端加密文件查询,无需客户额外配置,功能自动兼容解密逻辑
KS3 Select 支持标准 SQL 的一个子集,实现以下三大核心查询能力:
SELECT 语句:从对象中检索目标数据,支持列名、函数或表达式维度查询,以列表形式返回结果。
WHERE 子句:通过条件表达式过滤,仅返回值为 TRUE 的行。
LIMIT 子句:限制每次查询返回的记录数量。
此外还支持 AS 别名、标量表达式,以及聚合函数(COUNT/SUM/AVG/MAX/MIN)、条件函数(COALESCE/NULLIF)、转换函数(CAST)、字符串函数(CHARACTER_LENGTH/CHAR_LENGTH/LOWER/UPPER/SUBSTRING/TRIM)。所有输入列均视为字符串类型,可通过 CAST 转换为 INTEGER/DOUBLE/DECIMAL/BOOLEAN/CHAR/VARCHAR 等类型;日期/时间函数本期未启用。
SQL 语法的详细说明请参见支持的SQL语法文档。
当前阶段暂不计费,正式计费规则以上线公告与计费系统为准。计费口径为:单次 Select 请求计为 1 次读请求;流量按检索输出内容大小计费(公网);低频、深度低频存储正常收取数据取回费用,归档类冷存储取回后按标准存储费用收取;Select 扫描数据量按扫描的原文件实际大小统计。
1.进入桶详情页,点击需要检索的对象右侧的更多展开下拉栏,在下拉栏中点击检索按钮,即可进入检索页面。
仅当对象为可检索类型(CSV/JSON,且非回收站内、归档类已解冻可读)时,检索按钮可点击,点击后打开「检索」中央悬浮窗。
对于未解冻或未解冻完成的归档/冷归档/深度冷归档对象,检索按钮置灰。解冻后可用。
2.进入检索详情页后,需进行以下配置:
(1)格式配置
系统自动识别对象文件格式(CSV/JSON)并作为默认选中项回填,可修改。
CSV 格式:支持自定义分隔符(默认逗号,支持分号/制表符/自定义字符)、是否包含表头(默认无列表头)、编码格式(UTF-8)。
JSON 格式:支持选择 JSON Lines / JSON 文档数组两种格式。
文件大小只读展示,便于对照 128MB 检索上限。
导出格式:可选 CSV / JSON,默认与输入格式一致。
(2)SQL 编辑
提供 SQL 编辑器与默认查询模板,支持常用场景模板快速填充。
在SQL编辑器中,支持输入自定义SQL语句和对默认查询模版的编辑。
3.配置完成后,点击运行SQL即可发起查询任务。
4.查询成功后在页面内预览结果数据,支持表格/原始格式两种预览方式。
默认预览展示前 100 行,完整结果请点击导出检索结果获取。点击导出检索结果时,将把查询结果以 CSV/JSON 格式下载到本地。
下载受 40MB 提取上限约束,超过 40MB 时控制台无法下载完整结果,请使用 API 或 SDK。
所有 Select Object 相关 KS3 生态工具(控制台、SDK 等)均强制使用 HTTPS 协议传输,确保数据传输过程中的安全性。
API 同时支持 HTTPS 与 HTTP。
支持金山云托管密钥(SSE-KS3)的服务端加密文件查询,无需额外配置,功能自动兼容解密逻辑。
Select Object Content 提供标准化 OpenAPI 接口,请求格式与 AWS S3 Select 接近,但响应为纯文本流(非 AWS Event Stream 分块):
接口 | 说明 |
对象内容查询接口。对指定 Bucket 内的对象执行 SQL 查询 |
纯净模式
