最近更新时间:2024-10-10 20:30:03
本文主要介绍如何使用KS3 Import工具将数据迁移至KS3。
已开通KS3服务,并获取AK和SK信息。具体操作,请参见开通KS3服务。
用户系统需要具备JDK 1.8环境,建议使用Oracle版本JDK。
安装完成后,在命令提示符下,执行java -version
,来确认是否安装成功。
如下所示,表示安装成功。
如下所示,表示安装成功。
下载地址:KS3 Import
支持可选两种下载方式:
1. jar:仅下载Import工具,后续需再下载对应场景需要的配置文件模版。
2. zip:同时下载Import工具+通用配置文件模版。
执行以下命令将文件解压:
unzip KS3-import-XXXXXXXX.zip -d ${work_dir}
至此已完成环境和工具的安装等准备工作,KS3支持三种迁移模式:本地迁移至KS3、指定URL列表迁移至KS3、云存储迁移至KS3,可根据您的迁移需求参考相应示例文档完成数据迁移工作。
迁移模式 | 迁移示例 |
---|---|
本地迁移至KS3 | |
指定URL列表迁移至KS3 | |
云存储迁移至KS3 |
在启动迁移任务之前,需先进行配置文件的修改。根据${work_dir}下解压后的sample.conf,创建用户自己新的任务配置文件xxx.conf,根据需求填写配置文件参数内容。
迁移模式 | 配置文件示例 |
---|---|
本地迁移至KS3 | |
指定URL列表迁移至KS3 | |
云存储迁移至KS3 |
以下命令用于启动迁移任务:
java -jar KS3-import-x.x.x.jar -c xxx.conf start
1. KS3-import-x.x.x.jar表示Import工具jar包名称,xxx.conf表示配置文件名称。
2. xxx.conf 配置文件如果没有和KS3-import-x.x.x.jar在同一个目录下,-c 需要指明配置文件的正确路径。
linux环境下如果想要后台执行任务,则使用以下命令:
nohup java -jar KS3-import-x.x.x.jar -c xxx.conf start > nohup.out 2>&1 &
以下命令用于查询任务状态:
java -jar KS3-import-x.x.x.jar -c xxx.conf stat
以下命令用于清空任务数据:
java -jar KS3-import-x.x.x.jar -c xxx.conf clean
1. 若任务正在运行,则不能清空。
2. 若任务未曾运行过,则会提示任务不存在。
3. 使用增量上传功能,需保留任务数据。
以下命令用于导出成功文件列表:
java -jar KS3-import-x.x.x.jar -c xxx.conf export_ok_list ${export_file}
只有任务退出,该操作才允许被执行。
以下命令用于导出失败文件列表:
java -jar KS3-import-x.x.x.jar -c xxx.conf export_fail_list ${export_file}
1. 只有任务退出,该操作才允许被执行。
2. 导出文件为txt格式,每一行都是迁移失败文件的key。
等待当前任务退出后,重新执行“启动任务”的命令,注意任务的配置文件不要做修改。
java -jar KS3-import-x.x.x.jar -c xxx.conf start
1. 执行选项start持续运行,所需最小内存为100MB。
2. 若只需扫描迁移失败的文件进行重传可以使用该命令:java -jar KS3-import-x.x.x.jar -c xxx.conf retry
。
可在任务执行前通过scan命令确认需要迁移的文件是否正确,scan命令不会真正执行迁移操作。
java -jar KS3-import-x.x.x.jar -c xxx.conf scan
KS3 Import工具执行迁移任务时会在${work_dir}下创建logs目录,该目录包含info.log
、warn.log
、error.log
三个日志文件,如有问题可将日志文件发给KS3售前/售后咨询。
纯净模式