常见问题

概述

本文介绍使用KS3Util工具过程中遇到的常见问题。

1. 上传、下载速度没有达到预期

可能存在如下几种情况：

• 当KS3Util自行设置的默认并发数达不到用户的性能要求时，可以自行调整这两个选项来提升或降低并发。默认情况下，KS3Util会根据文件大小来计算parallel个数。当批量上传大文件时，实际的并发数为jobs个数乘以parallel个数。

• 当服务器的网络、内存、CPU等资源处于紧张状态时，建议降低并发数至50以下，避免出现资源不足问题；若资源充足，建议适当增加并发数充分利用资源。

• 由于线程间资源切换及抢夺等原因，如果并发数过大，KS3Util上传性能可能会下降。此外，并发数过大还可能产生EOF错误。所以请根据实际的机器情况调整-j, --jobs和--parallel选项的数值。如果要进行压测，可在一开始时调低这两项数值，然后逐渐调大直至找到符合预期的值。

2. 使用ls命令查看Bucket内已无文件，但删除Bucket时报错

原因分析：删除桶前请确保桶内文件、回收站内文件、自定义域名、区域复制规则已删除。

解决方案：首先使用ls命令查看桶回收站内是否有未删除的文件，命令：ls ks3://bucketname --retention；如果有，则需要删除回收站内文件，命令：rm ks3://bucketname -r --retention；登录对象存储控制台，查看该Bucket是否存在自定义域名、区域复制等配置，如果有，则需要删除；然后重试删除桶。

3. 使用cp复制桶之间的数据时，需要注意的事项

原因分析：不支持以增量的方式复制meta。若在复制时未指定meta，则复制后文件的meta与源文件一致；若在复制时指定meta，则复制后文件的meta为指定的值。

解决方案：在复制完成后再次调用set-meta命令进行修改，将文件的meta设定为指定的值。

4. 路径中带有空格报错

原因分析：KS3Util工具依赖空格分隔参数，当路径中带有空格时，会造成参数解析错误。

解决方案：需要将路径用双引号（""）包裹，将其作为一个整体。例如将本地文件路径/root/test files写为"/root/test files"，将ks3路径ks3://bucketname/test files写为"ks3://bucketname/test files"。

5. 从KS3下载文件到NAS速度不及预期

原因分析：KS3Util工具在下载文件时，会在当前执行目录的.ks3util_checkpoint目录下生成断点文件，用来记录大文件的下载进度，这个过程涉及频繁的文件写入操作，可能会影响文件下载速度。

解决方案：建议将KS3Util放在本地磁盘上执行，此时.ks3util_checkpoint目录将会在本地磁盘中生成，或通过--checkpoint-dir选项，将.ks3util_checkpoint目录的生成路径重定向到本地磁盘中，从而避免影响文件下载速度。

6. 执行KS3Util工具报Segmentation fault错误

原因分析：工具文件在下载过程中损坏或下载不完整。

解决方案：可尝试删除损坏的文件后重新下载。

7. 同时执行多个KS3Util进程时，日志写入报错

原因分析：多进程下日志写入冲突。

解决方案：在命令中设置--log-path参数，为每个进程指定不同的日志写入路径；或升级工具至最新版本。

8. 环境变量中配置的代理未生效

原因分析：工具从2.9.0版本开始支持代理，但默认不读取环境变量中的代理配置。

解决方案：确保工具版本 ≥ 2.9.0，然后在配置文件中添加一行proxy=env配置，即可从环境变量中读取代理设置。详见配置文件说明文档中proxy配置项。