全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

概述

最近更新时间:2024-10-10 20:30:03

KS3 Import是一款数据迁移工具,支持将本地文件、指定URL列表文件、其他云存储文件迁移到KS3上。目前支持将金山云KS3、阿里云OSS、腾讯云COS、百度云BOS、七牛云Kodo火山云TOS、Azure BlobAmazon S3设置为迁移源。

主要特征

  • 支持大规模海量数据迁移至KS3,部分失败情况,重新全量上传即可,已经成功上传的文件会自动跳过(勿删除log)。

  • 支持Linux、macOS、Windows操作系统。

  • 支持大文件、高并发上传,支持断点续传。

  • 支持失败重传、增量上传、流量控制。

  • 支持迁移进度查询。

  • 支持指定迁移文件的存储类型等信息。

1. 同名文件处理:使用该工具上传默认会覆盖同名文件,如需跳过,请在配置文件中进行设置。

2. 如果需要迁移其他第三方云存储数据,推荐使用在线迁移服务进行数据迁移

3. 如果需要在KS3两个不同的Bucket中进行数据的近实时复制,推荐使用KS3的跨区域复制(CRR)同区域复制(SRR)功能。

适用场景

迁移模式

适用场景

迁移示例

本地迁移至KS3

适合从本地或者自建IDC迁移至KS3场景

点击查看

指定URL列表迁移至KS3

适合迁移指定URL列表文件至KS3场景

点击查看

云存储迁移至KS3

适合数据源为支持S3协议的云存储文件迁移至KS3场景(金山云KS3、阿里云OSS、腾讯云COS、百度云BOS、七牛云qiniu、火山云TOS、Azure Blob、AWS S3)

点击查看

计费说明

KS3 Import工具本身不收费。源端如果为云存储可能会产生外网下行流量、请求次数等费用,目的端为KS3会产生请求次数费用。

支持功能

功能类别

说明

数据源

支持丰富的数据源,包括本地文件、URL列表文件、其他云存储文件。支持将金山云KS3、阿里云OSS、腾讯云COS、百度云BOS、七牛云Kodo火山云TOS、Azure BlobAmazon S3迁移至KS3。

迁移方式

  • 支持增量迁移,即完成数据迁移后,可以按照固定的时间间隔迁移增量的数据。

  • 支持大文件断点续传,即因服务器故障等原因导致任务暂停时,您可以重新运行迁移任务,对未上传完成的任务进行续传。

  • 支持设置同名文件是否跳过上传。

迁移文件

  • 支持迁移指定前缀的文件。

  • 支持迁移指定URL列表的文件。

  • 支持迁移指定修改时间范围的文件。

  • 支持迁移/不迁移带指定字符的文件。

迁移进度

  • 支持查询迁移任务进度。

  • 支持迁移后导出迁移成功或迁移失败的文件列表。

并发

  • 支持设置并发上传的线程数。

  • 支持设置单文件分块上传的并发数。

文件信息

  • 支持设置文件的ACL。

  • 支持设置文件的存储类型。

流控

支持分时带宽限流。

目录结构

Linux、macOS、Windows操作系统下的KS3 Import工具包目录结构类似,以下以 KS3-import-tool-2.1.9-dist.zip 为例,展示解压KS3 Import工具包后的目录结构。

./KS3-import-tool-2.1.9-dist
├── KS3-import-2.1.9.jar       # 迁移工具可执行文件
├── sample.conf                     # 配置文件

启动迁移任务后,会再生成一个logs目录,记录详细的日志信息。

./KS3-import-tool-2.1.9-dist
├── KS3-import-2.1.9.jar       # 迁移工具可执行文件
├── sample.conf                     # 配置文件
├── logs
│   ├── error.log                     # 错误日志
│   ├── info.log                      # 执行信息日志
│   ├── warn.log                    # 告警日志

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈