金山云-文档中心-概述

对象存储(KS3)

查看更多结果

未找到含当前关键字的文档标题

页面目录

全部展开全部收起

产品更新动态

未找到含该关键词的产品

文档中心

对象存储(KS3)

常用工具

工具汇总

KS3 Import数据迁移工具

概述

最近更新时间：2024-10-10 20:30:03

KS3 Import是一款数据迁移工具，支持将本地文件、指定URL列表文件、其他云存储文件迁移到KS3上。目前支持将金山云KS3、阿里云OSS、腾讯云COS、百度云BOS、七牛云Kodo、火山云TOS、Azure Blob、Amazon S3设置为迁移源。

主要特征

支持大规模海量数据迁移至KS3，部分失败情况，重新全量上传即可，已经成功上传的文件会自动跳过（勿删除log）。
支持Linux、macOS、Windows操作系统。
支持大文件、高并发上传，支持断点续传。
支持失败重传、增量上传、流量控制。
支持迁移进度查询。
支持指定迁移文件的存储类型等信息。

1. 同名文件处理：使用该工具上传默认会覆盖同名文件，如需跳过，请在配置文件中进行设置。

2. 如果需要迁移其他第三方云存储数据，推荐使用在线迁移服务进行数据迁移。

3. 如果需要在KS3两个不同的Bucket中进行数据的近实时复制，推荐使用KS3的跨区域复制（CRR）或同区域复制（SRR）功能。

适用场景

迁移模式	适用场景	迁移示例
本地迁移至KS3	适合从本地或者自建IDC迁移至KS3场景	点击查看
指定URL列表迁移至KS3	适合迁移指定URL列表文件至KS3场景	点击查看
云存储迁移至KS3	适合数据源为支持S3协议的云存储文件迁移至KS3场景（金山云KS3、阿里云OSS、腾讯云COS、百度云BOS、七牛云qiniu、火山云TOS、Azure Blob、AWS S3）	点击查看

计费说明

KS3 Import工具本身不收费。源端如果为云存储可能会产生外网下行流量、请求次数等费用，目的端为KS3会产生请求次数费用。

支持功能

功能类别	说明
数据源	支持丰富的数据源，包括本地文件、URL列表文件、其他云存储文件。支持将金山云KS3、阿里云OSS、腾讯云COS、百度云BOS、七牛云Kodo、火山云TOS、Azure Blob、Amazon S3迁移至KS3。
迁移方式	支持增量迁移，即完成数据迁移后，可以按照固定的时间间隔迁移增量的数据。支持大文件断点续传，即因服务器故障等原因导致任务暂停时，您可以重新运行迁移任务，对未上传完成的任务进行续传。支持设置同名文件是否跳过上传。
迁移文件	支持迁移指定前缀的文件。支持迁移指定URL列表的文件。支持迁移指定修改时间范围的文件。支持迁移/不迁移带指定字符的文件。
迁移进度	支持查询迁移任务进度。支持迁移后导出迁移成功或迁移失败的文件列表。
并发	支持设置并发上传的线程数。支持设置单文件分块上传的并发数。
文件信息	支持设置文件的ACL。支持设置文件的存储类型。
流控	支持分时带宽限流。

目录结构

Linux、macOS、Windows操作系统下的KS3 Import工具包目录结构类似，以下以 KS3-import-tool-2.1.9-dist.zip 为例，展示解压KS3 Import工具包后的目录结构。

./KS3-import-tool-2.1.9-dist
├── KS3-import-2.1.9.jar       # 迁移工具可执行文件
├── sample.conf                     # 配置文件

启动迁移任务后，会再生成一个logs目录，记录详细的日志信息。

./KS3-import-tool-2.1.9-dist
├── KS3-import-2.1.9.jar       # 迁移工具可执行文件
├── sample.conf                     # 配置文件
├── logs
│   ├── error.log                     # 错误日志
│   ├── info.log                      # 执行信息日志
│   ├── warn.log                    # 告警日志

文档导读

上一篇：KS3 Import数据迁移工具

下一篇：快速使用

纯净模式常规模式

纯净模式

点击可全屏预览文档内容