最近更新时间:2024-07-17 19:45:24
KS3 Import是一款数据迁移工具,支持将本地文件、指定URL列表文件、其他云存储文件迁移到KS3上。目前支持将金山云KS3、阿里云OSS、腾讯云COS、百度云BOS、七牛云Kodo、火山云TOS、Azure Blob、Amazon S3设置为迁移源。
支持大规模海量数据迁移至KS3,部分失败情况,重新全量上传即可,已经成功上传的文件会自动跳过(勿删除log)。
支持Linux、macOS、Windows操作系统。
支持大文件、高并发上传,支持断点续传。
支持失败重传、增量上传、流量控制。
支持迁移进度查询。
支持指定迁移文件的存储类型等信息。
1. 同名文件处理:使用该工具上传默认会覆盖同名文件,如需跳过,请在配置文件中进行设置。
2. 如果需要迁移其他第三方云存储数据,推荐使用在线迁移服务进行数据迁移。
3. 如果需要在KS3两个不同的Bucket中进行数据的近实时复制,推荐使用KS3的跨区域复制(CRR)或同区域复制(SRR)功能。
KS3 Import工具本身不收费。源端如果为云存储可能会产生外网下行流量、请求次数等费用,目的端为KS3会产生请求次数费用。
功能类别 | 说明 |
---|---|
数据源 | 支持丰富的数据源,包括本地文件、URL列表文件、其他云存储文件。支持将金山云KS3、阿里云OSS、腾讯云COS、百度云BOS、七牛云Kodo、火山云TOS、Azure Blob、Amazon S3迁移至KS3。 |
迁移方式 |
|
迁移文件 |
|
迁移进度 |
|
并发 |
|
文件信息 |
|
流控 | 支持分时带宽限流。 |
Linux、macOS、Windows操作系统下的KS3 Import工具包目录结构类似,以下以 KS3-import-tool-2.1.9-dist.zip
为例,展示解压KS3 Import工具包后的目录结构。
./KS3-import-tool-2.1.9-dist
├── KS3-import-2.1.9.jar # 迁移工具可执行文件
├── sample.conf # 配置文件
启动迁移任务后,会再生成一个logs目录,记录详细的日志信息。
./KS3-import-tool-2.1.9-dist
├── KS3-import-2.1.9.jar # 迁移工具可执行文件
├── sample.conf # 配置文件
├── logs
│ ├── error.log # 错误日志
│ ├── info.log # 执行信息日志
│ ├── warn.log # 告警日志
纯净模式