全部文档
当前文档
最近更新时间：2024-10-10 20:30:03
本文主要介绍如何使用KS3 Import工具将数据迁移至KS3。
已开通KS3服务，并获取AK和SK信息。具体操作，请参见开通KS3服务。
用户系统需要具备JDK 1.8环境，建议使用Oracle版本JDK。
安装完成后，在命令提示符下，执行java -version，来确认是否安装成功。
如下所示，表示安装成功。
如下所示，表示安装成功。
下载地址：KS3 Import
支持可选两种下载方式：
1. jar：仅下载Import工具，后续需再下载对应场景需要的配置文件模版。
2. zip：同时下载Import工具+通用配置文件模版。
执行以下命令将文件解压：
unzip KS3-import-XXXXXXXX.zip -d ${work_dir}至此已完成环境和工具的安装等准备工作，KS3支持三种迁移模式：本地迁移至KS3、指定URL列表迁移至KS3、云存储迁移至KS3，可根据您的迁移需求参考相应示例文档完成数据迁移工作。
迁移模式 | 迁移示例 |
|---|---|
本地迁移至KS3 | |
指定URL列表迁移至KS3 | |
云存储迁移至KS3 |
在启动迁移任务之前，需先进行配置文件的修改。根据${work_dir}下解压后的sample.conf，创建用户自己新的任务配置文件xxx.conf，根据需求填写配置文件参数内容。
迁移模式 | 配置文件示例 |
|---|---|
本地迁移至KS3 | |
指定URL列表迁移至KS3 | |
云存储迁移至KS3 |
以下命令用于启动迁移任务：
java -jar KS3-import-x.x.x.jar -c xxx.conf start1. KS3-import-x.x.x.jar表示Import工具jar包名称，xxx.conf表示配置文件名称。
2. xxx.conf 配置文件如果没有和KS3-import-x.x.x.jar在同一个目录下，-c 需要指明配置文件的正确路径。
linux环境下如果想要后台执行任务，则使用以下命令：
nohup java -jar KS3-import-x.x.x.jar -c xxx.conf start > nohup.out 2>&1 &以下命令用于查询任务状态：
java -jar KS3-import-x.x.x.jar -c xxx.conf stat以下命令用于清空任务数据：
java -jar KS3-import-x.x.x.jar -c xxx.conf clean1. 若任务正在运行，则不能清空。
2. 若任务未曾运行过，则会提示任务不存在。
3. 使用增量上传功能，需保留任务数据。
以下命令用于导出成功文件列表：
java -jar KS3-import-x.x.x.jar -c xxx.conf export_ok_list ${export_file}只有任务退出，该操作才允许被执行。
以下命令用于导出失败文件列表：
java -jar KS3-import-x.x.x.jar -c xxx.conf export_fail_list ${export_file}1. 只有任务退出，该操作才允许被执行。
2. 导出文件为txt格式，每一行都是迁移失败文件的key。
等待当前任务退出后，重新执行“启动任务”的命令，注意任务的配置文件不要做修改。
java -jar KS3-import-x.x.x.jar -c xxx.conf start1. 执行选项start持续运行，所需最小内存为100MB。
2. 若只需扫描迁移失败的文件进行重传可以使用该命令：java -jar KS3-import-x.x.x.jar -c xxx.conf retry。
可在任务执行前通过scan命令确认需要迁移的文件是否正确，scan命令不会真正执行迁移操作。
java -jar KS3-import-x.x.x.jar -c xxx.conf scanKS3 Import工具执行迁移任务时会在${work_dir}下创建logs目录，该目录包含info.log、warn.log、error.log三个日志文件，如有问题可将日志文件发给KS3售前/售后咨询。
纯净模式