全部文档
当前文档
最近更新时间：2024-12-03 14:26:29
KS3 Import是一款数据迁移工具，支持将本地文件、指定URL列表文件、其他云存储文件迁移到KS3上。目前支持将金山云KS3、阿里云OSS、腾讯云COS、百度云BOS、七牛云Kodo、火山云TOS、Azure Blob、Amazon S3设置为迁移源。
支持大规模海量数据迁移至KS3，部分失败情况，重新全量上传即可，已经成功上传的文件会自动跳过（勿删除log）。
支持Linux、macOS、Windows操作系统。
支持大文件、高并发上传，支持断点续传。
支持失败重传、增量上传、流量控制。
支持迁移进度查询。
支持指定迁移文件的存储类型等信息。
1. 同名文件处理：使用该工具上传默认会覆盖同名文件，如需跳过，请在配置文件中进行设置。
2. 如果需要迁移其他第三方云存储数据，推荐使用在线迁移服务进行数据迁移。
3. 如果需要在KS3两个不同的Bucket中进行数据的近实时复制，推荐使用KS3的跨区域复制（CRR）或同区域复制（SRR）功能。
迁移模式 | 适用场景 | 迁移示例 |
|---|---|---|
本地迁移至KS3 | 适合从本地或者自建IDC迁移至KS3场景 | |
指定URL列表迁移至KS3 | 适合迁移指定URL列表文件至KS3场景 | |
云存储迁移至KS3 | 适合数据源为支持S3协议的云存储文件迁移至KS3场景（金山云KS3、阿里云OSS、腾讯云COS、百度云BOS、七牛云qiniu、火山云TOS、Azure Blob、AWS S3） |
KS3 Import工具本身不收费。源端如果为云存储可能会产生外网下行流量、请求次数等费用，目的端为KS3会产生请求次数费用。
功能类别 | 说明 |
|---|---|
数据源 | 支持丰富的数据源，包括本地文件、URL列表文件、其他云存储文件。支持将金山云KS3、阿里云OSS、腾讯云COS、百度云BOS、七牛云Kodo、火山云TOS、Azure Blob、Amazon S3迁移至KS3。 |
迁移方式 |
|
迁移文件 |
|
迁移进度 |
|
并发 |
|
文件信息 |
|
流控 | 支持分时带宽限流。 |
Linux、macOS、Windows操作系统下的KS3 Import工具包目录结构类似，以下以 KS3-import-tool-2.1.9-dist.zip 为例，展示解压KS3 Import工具包后的目录结构。
./KS3-import-tool-2.1.9-dist
├── KS3-import-2.1.9.jar # 迁移工具可执行文件
├── sample.conf # 配置文件启动迁移任务后，会再生成一个logs目录，记录详细的日志信息。
./KS3-import-tool-2.1.9-dist
├── KS3-import-2.1.9.jar # 迁移工具可执行文件
├── sample.conf # 配置文件
├── logs
│ ├── error.log # 错误日志
│ ├── info.log # 执行信息日志
│ ├── warn.log # 告警日志纯净模式