数据管理简介

最近更新时间:2021-05-17 11:28:38

查看PDF

在KingAI平台中,数据管理是一个对数据进行高效、有序管理的功能模块。您可以在数据管理页面,完成数据上传、数据分析、数据标注、添加数据源等操作,为创建模型开发或训练任务做好数据准备。数据管理包含数据集管理和数据源管理两部分。

支持的数据集类型

当前KingAI支持表格、图片、文件类型的数据集。详情如下:

  • 表格

    1.支持表格类数据的上传,文件格式支持csv格式的数据导入。

    2.支持对部分表格数据进行预览,最多支持100条数据预览。

    3.支持对表格数据进行数据分析操作。

  • 图片

    1.支持对图片数据进行标注工作,数据标注分为图像分类、物体检测和综合标注。

    2.图像分类:识别一张图片中是否包含某种物体。

    3.物体检测:识别出图片中每个物体的位置及类别。

    4.综合标注:对同一张图片既进行图像分类标注,又进行物体检测标注。

  • 文件

    支持用户上传文件类型的数据,如上传.py类型的文件.用户可以在创建容器任务时,选择挂载上传的文件。

支持的数据源类型

KingAI支持连接外部数据源,数据源类型包含MySQL和Hive,您可以从数据源中将数据导入到数据集管理中。

  • MySQL

    支持用户连接MySQL数据源,需要输入参数地址、端口、账号、密码等基本信息。

  • Hive

    支持用户连接Hive数据源,需要输入参数地址、端口、账号、密码等基本信息。

  • 对象存储KS3

    支持用户连接对象存储KS3,需要选择数据中心,填写AK/SK等基本信息。

注意

1.连接MySQL外部数据源一般需设置数据源的白名单,当前无法从平台上直接看到KingAI平台ip地址,需要联系KingAI运维获取ip地址。

2.ip地址必须为公网能访问的地址,在KingAI中,无法连接到数据库的内网ip地址。

不同类型数据集支持的功能列表

针对不同的数据集类型,支持不同的功能,详情见下表。

创建数据集 导入数据 数据预览 数据分析 数据标注 删除数据集 创建工作流任务 创建自动学习任务 创建容器开发任务 创建模型训练任务
表格 支持 支持 支持 支持 - 支持 支持 - 支持 -
图片 支持 支持 支持 - 支持 支持 - 支持 支持 支持
文件 支持 支持 支持 - - 支持 - - 支持 -

数据管理功能介绍

数据管理支持的功能及说明如下。

功能 说明
新建数据集 当前支持从本地上传、从对象存储上传和从数据源上传三种方式导入数据集
1. 从本地上传数据集:支持从本地上传数据集,仅支持表格类数据的上传
2. 从对象存储上传数据集:支持从对象存储(KS3)上传数据集,支持图片和表格类数据上传
3. 数据源上传数据集:支持从数据源上传数据集,仅支持表格类数据上传
查看数据集(数据预览) 支持数据预览功能。表格类数据支持100条数据预览;图片类数据支持展示前10000条数据
数据分析 支持对表格类数据进行数据分析操作
数据标注 支持对图片类数据进行数据标注操作
添加数据源 支持添加外部数据源,支持添加的数据源类型包含:MySQL、Hive
编辑数据源 支持对外部数据源进行编辑操作

文档内容是否对您有帮助?

根本没帮助
文档较差
文档一般
文档不错
文档很好

在文档使用中是否遇到以下问题

内容不全,不深入
内容更新不及时
描述不清晰,比较混乱
系统或功能太复杂,缺乏足够的引导
内容冗长

更多建议

0/200

评价建议不能为空

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

问题反馈