• 热门
  • 基础
  • 数据库
  • 安全
  • 大数据
  • 人工智能
  • 混合云
  • 开发与运维
  • 企业应用

应用服务

行业引擎

全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

快速使用

最近更新时间:2024-10-10 20:30:03

本文主要介绍如何使用KS3 Import工具将数据迁移至KS3。

前提条件

  • 已开通KS3服务,并获取AK和SK信息。具体操作,请参见开通KS3服务

运行环境

用户系统需要具备JDK 1.8环境,建议使用Oracle版本JDK。

安装完成后,在命令提示符下,执行java -version,来确认是否安装成功。

Windows环境安装成功示例

如下所示,表示安装成功。

Linux环境安装成功示例

如下所示,表示安装成功。

操作流程

1. 下载工具

支持可选两种下载方式:

1. jar:仅下载Import工具,后续需再下载对应场景需要的配置文件模版。

2. zip:同时下载Import工具+通用配置文件模版。

2. 解压文件

执行以下命令将文件解压:

unzip KS3-import-XXXXXXXX.zip -d ${work_dir}

至此已完成环境和工具的安装等准备工作,KS3支持三种迁移模式:本地迁移至KS3、指定URL列表迁移至KS3、云存储迁移至KS3,可根据您的迁移需求参考相应示例文档完成数据迁移工作。

迁移模式

迁移示例

本地迁移至KS3

点击查看

指定URL列表迁移至KS3

点击查看

云存储迁移至KS3

点击查看

3. 填写配置文件

在启动迁移任务之前,需先进行配置文件的修改。根据${work_dir}下解压后的sample.conf,创建用户自己新的任务配置文件xxx.conf,根据需求填写配置文件参数内容。

迁移模式

配置文件示例

本地迁移至KS3

点击查看

指定URL列表迁移至KS3

点击查看

云存储迁移至KS3

点击查看

4. 启动任务

以下命令用于启动迁移任务:

java -jar KS3-import-x.x.x.jar -c xxx.conf start

1. KS3-import-x.x.x.jar表示Import工具jar包名称,xxx.conf表示配置文件名称。

2. xxx.conf 配置文件如果没有和KS3-import-x.x.x.jar在同一个目录下,-c 需要指明配置文件的正确路径。

linux环境下如果想要后台执行任务,则使用以下命令:

nohup java -jar KS3-import-x.x.x.jar -c xxx.conf start > nohup.out 2>&1 &

5. 常用指令

5.1 查询任务状态

以下命令用于查询任务状态

java -jar KS3-import-x.x.x.jar -c xxx.conf stat

5.2 清空任务数据

以下命令用于清空任务数据

java -jar KS3-import-x.x.x.jar -c xxx.conf clean

1. 若任务正在运行,则不能清空。

2. 若任务未曾运行过,则会提示任务不存在。

3. 使用增量上传功能,需保留任务数据。

5.3 导出成功文件列表

以下命令用于导出成功文件列表

 java -jar KS3-import-x.x.x.jar -c xxx.conf export_ok_list ${export_file}

只有任务退出,该操作才允许被执行。

5.4 导出失败文件列表

以下命令用于导出失败文件列表

 java -jar KS3-import-x.x.x.jar -c xxx.conf export_fail_list ${export_file}

1. 只有任务退出,该操作才允许被执行。

2. 导出文件为txt格式,每一行都是迁移失败文件的key。

5.5 增量上传 或 失败重传

等待当前任务退出后,重新执行“启动任务”的命令,注意任务的配置文件不要做修改

 java -jar KS3-import-x.x.x.jar -c xxx.conf start

1. 执行选项start持续运行,所需最小内存为100MB。

2. 若只需扫描迁移失败的文件进行重传可以使用该命令:java -jar KS3-import-x.x.x.jar -c xxx.conf retry

5.6 扫描任务数据

可在任务执行前通过scan命令确认需要迁移的文件是否正确,scan命令不会真正执行迁移操作。

java -jar KS3-import-x.x.x.jar -c xxx.conf scan

日志和运行情况

KS3 Import工具执行迁移任务时会在${work_dir}下创建logs目录,该目录包含info.logwarn.logerror.log三个日志文件,如有问题可将日志文件发给KS3售前/售后咨询。

纯净模式常规模式

纯净模式

点击可全屏预览文档内容

鼠标选中内容,快速反馈问题

如果在文档使用中出现问题,可选中有问题的部分进行快速反馈,我们将跟进处理。
不再提示
好的,我知道了

聆听反馈