ModelScope 社区平台提供了覆盖多个领域的模型任务,包括自然语言处理(NLP)、计算机视觉(CV)、语音(Audio)、多模态(Multi-Modal)等,并提供相关任务的推理、训练等服务。
| 任务(Task)中文 | 任务(Task)英文 | 任务说明 |
|---|---|---|
| 单标签图像分类 | image-classification | 对图像中的不同特征根据类别进行区分 |
| 通用图像分割 | image-segmentation | 识别图像主体与图像背景进行分离 |
| 文字检测 | ocr-detection | 将图像中的文字检测出来并返回检测点坐标位置 |
| 人像美肤 | skin-retouching | 对图像中的人像皮肤进行细节美化 |
| 风格迁移 | image-style-transfer | 对图像或视频的色彩风格进行另一种风格转化 |
| 图像翻译 | image-to-image-translation | 将一张图片上的文字翻译成目标语言并生成新的图片 |
| 以图生图 | image-to-image-generation | 根据输入图像生成新的类似图像 |
| 搜索推荐 | image-search | 根据输入图像进行范围匹配 |
| 审核评估 | image-evaluation | 对图像进行解析并自动给出一个评估信息 |
| 视频处理 | video-processing | 对视频信息进行自动运算处理 |
| 视频检测 | video-detection | 对视频信息进行内容解析 |
| 视频分割 | video-segmentation | 对视频信息进行背景和主体分离 |
| 视频生成 | video-generation | 对视频进行解析匹配视频信息进行生成 |
| 视频编辑 | video-editing | 对视频进行解析转化为可编辑状态 |
| 视频表征 | video-embedding | 对视频特征进行多模态匹配 |
| 视频检索 | video-search | 对视频解析根据规则提取部分信息 |
| 视频审核评估 | video-evaluation | 根据规则对视频解析并给出评估结果 |
| 视频文本识别 | video-ocr | 对视频中的文字内容进行识别 |
| 视频到文本 | video-captioning | 将视频中的音频转化为文本信息 |
| 三维重建 | 3d-reconstruction | 对三维模型解析并重新构建 |
| 三维识别 | 3d-recognition | 对三维模型进行识别并进行标注 |
| 三维编辑 | 3d-editing | 对三维模型解析转化为可编辑状态 |
| 驱动交互 | 3d-driven | 对三维模型解析转为为动态效果 |
| 渲染呈现 | 3d-rendering | 对三维模型进行渲染并以图像展示 |
| 虚拟试衣 | virtual-try-on | 给定模特图片和衣服图片,合成模特穿上给定衣服的图片 |
| 文字识别 | ocr-recognition | 将图像中的文字识别出来并返回文本内容 |
| 人脸检测 | face-detection | 对图像中的人脸进行检测并返回人脸坐标位置 |
| 人脸识别 | face-recognition | 对矫正对齐后的人脸图像提取特征向量 |
| 人体检测 | human-detection | 对图像中的人体关键点进行检测并返回关键点标签与坐标位置 |
| 人物交互关系 | human-object-interaction | 对图像中的肢体关键点和物品进行检测和识别对坐标信息进行处理 |
| 人脸生成 | face-image-generation | 对图像中的人脸进行区域位置检测并生成虚拟人脸 |
| 多标签图像分类 | image-multilabel-classification | 解析图像特征支持多个类别区分 |
| 通用目标检测 | image-object-detection | 对输入图像中的较通用物体定位及类别判断 |
| 目标检测-自动驾驶场景(行人、车辆、交通标注等) | image-object-detection-autopilot | 对自动驾驶中的场景进行目标检测,图像中的人、车辆及交通信息等进行实时解析并进行标注(行人、车辆、交通标注) |
| 目标检测-自动驾驶场景(车道线) | image-object-detection-laneline | 对自动驾驶中的场景进行目标检测,图像中的人、车辆及交通信息等进行实时解析并进行标注(车道线) |
| 人像抠图 | portrait-matting | 对输入的图像将人体部分抠出并对背景进行透明化处理 |
| 人像增强 | image-portrait-enhancement | 对图像中的人像主体进行细节增强 |
| 图像超分辨 | image-super-resolution | 对图像进行倍数放大且不丢失画面质量 |
| 图像上色 | image-colorization | 对黑白图像进行区域解析并对其进行类别上色 |
| 图像颜色增强 | image-color-enhancement | 对图像中色彩值进行解析并对其进行规则处理 |
| 图像降噪 | image-denoising | 对图像中的噪点进行处理降低 |
| 人像卡通化 | image-portrait-stylization | 对输入的图像进行卡通化处理,实现风格变化 |
| 图像表征 | image-embedding | 对输入图像特征进行多模态匹配 |
| 直播商品类目识别 | live-category | 实时解析识别直播画面中的商品类别进行信息展示 |
| 行为识别 | action-recognition | 对视频中的动作行为进行识别并返回类型 |
| 短视频内容分类 | video-category | 解析短视频语义进行场景分类 |
| 目标跟踪及重识别 | reid-and-tracking | 可对图片和视频进行目标识别可重复识别 |
| 增强/虚拟现实 | ar-vr | 对vr图像信息进行画面增强 |
| 人体2D关键点 | body-2d-keypoints | 检测图像中人体2D关键点位置 |
| 商品图片特征 | product-retrieval-embedding | 对商品图像进行表征向量提取 |
| 视频场景分割 | movie-scene-segmentation | 输入一段长视频,算法将其分割成不同的场景子视频 |
| 人脸表情识别 | facial-expression-recognition | 识别图像中人脸的表情 |
| 手部2D关键点 | hand-2d-keypoints | 检测图像中手部21点关键点坐标 |
| 视频摘要 | video-summarization | 输入一段长视频,算法找出其中的一些关键片段进行拼接,输出拼接的短的摘要视频 |
| 人脸2D关键点 | face-2d-keypoints | 检测图像中人脸106点关键点坐标和人脸朝向姿态角 |
| 行人重识别 | image-reid-person | 输入包含人的图片,输出图片的特征向量 |
| 3D人体关键点 | body-3d-keypoints | 检测视频中人体姿态的3D关键点坐标 |
| 视频单目标跟踪 | video-single-object-tracking | 输入视频和第一帧目标位置,在所有视频帧中预测该目标位置 |
| 行为检测 | action-detection | 检测视频中发生的行为动作,并给出动作的时空位置 |
| 人群密度估计 | crowd-counting | 输入一张图片,输出图片内有多少人 |
| 卡证检测矫正 | card-detection | 检测输入图片中是否存在卡证,并定位其角点,根据角点将卡证矫正为正视图 |
| 全身关键点检测 | human-wholebody-keypoint | 检测图片中全身关键点坐标,包括人脸关键点,骨骼关键点、脚步关键点和手势关键点,共计133点 |
| 视频目标检测 | video-object-detection | 任务的输入输出类型及数据格式 |
| 语义分割 | semantic-segmentation | 图像显著性,预测图中每个像素的重要程度 |
| 人体美型 | image-body-reshaping | 给定一张人物图像(半身或全身),无需任何额外输入,端到端地实现对人物身体区域(肩部,腰部,腿部等)的自动化美型处理 |
| 目标检测-自动驾驶场景 | image-object-detection-auto | 检测自动驾驶场景图片的目标,包括车辆,行人等 |
| 图像填充 | image-inpainting | 输入一张图片;同时用户根据该图片,自定义地可以进行在线绘制任意形状的mask;最终输出恢复、补全后的图像 |
| 视频修复 | video-inpainting | 对视频中指定的区域和帧范围,进行视频修复 |
| 2D手势语义识别 | hand-static | 对图片中的人手动作的语义进行识别 |
| 人脸情绪识别 | face-emotion | 对图片中的人的情绪进行识别 |
| 人脸人体人手三合一检测 | face-human-hand-detection | 对图片中的人脸、人体、人手进行检测 |
| 通用商品分割 | product-segmentation | 对图片中的商品进行分割 |
| 商品显著性分割 | shop-segmentation | 对商品图像进行显著性分割 |
| 文本指导的图像分割 | text-driven-segmentation | 根据文本对图像进行分割 |
| 动物识别 | animal-recognition | 对图片中的动物主体的进行识别 |
| 视频文本表征 | video-multi-modal-embedding | 输入任意视频和文本pair,输出相应的视频-文本pair特征,和相应得分 |
| 自然语言引导的视频摘要 | language-guided-video-summarization | 输入一段长视频和N句英文描述,算法找出其中和英文描述相关的一些关键片段进行拼接,输出拼接的短的摘要视频 |
| 文本指导的视频目标分割 | referring-video-object-segmentation | 通过用户输入的文本描述(英文)从输入视频中分割出指定的物体,支持一次性输入两个物体描述 |
| 万物识别 | general-recognition | 对图片中的物体主体的进行识别 |
| 任务(Task)中文 | 任务(Task)英文 | 任务说明 |
|---|---|---|
| 分词 | word-segmentation | 分词,将连续的自然语言文本,切分成具有语义合理性和完整性的词汇序列 |
| 命名实体识别 | named-entity-recognition | 指识别自然语言文本中具有特定意义的实体,通用领域如人名、地名、机构名等 |
| 词性标注 | part-of-speech | 指为自然语言文本中的每个词汇赋予一个词性的过程,如名词、动词、副词等 |
| 文本向量 | sentence-embedding | 将输入文本从字符转化成向量表示 |
| 语义相关性 | text-ranking | 给出大量的候选段落,然后再给一个问题,模型从大量的候选段落找出能回答问题的那个段落 |
| 文本分割 | document-segmentation | 对于口语识别的长文本数据,使用文本段落分割模型来提升转写结果的可读性;同时也可用于书面化长文本的分段修正。 |
| 文本纠错 | text-error-correction | 准确识别输入文本中出现的拼写错别字及其段落位置信息,并针对性给出正确的建议文本内容 |
| 文本分类 | text-classification | 模型将载有信息的一篇文本映射到预先给定的某一类别或某几类别主题的过程 |
| 情感分类 | sentiment-classification | 分析并给出文本的情感正负倾向 |
| 句子相似度 | sentence-similarity | 文本相似度服务提供不同文本之间相似度的计算,并输出一个介于0到1之间的分数,分数越大则文本之间的相似度越高 |
| 零样本分类 | zero-shot-classification | 只需要提供待分类的句子和类别标签即可给出句子类别 |
| 自然语言推理 | nli | 判断两个句子(Premise, Hypothesis)或者两个词之间的语义关系 |
| 问答 | question-answering | 给定一长段文字,然后再给一个问题,然后理解长段文字之后,对这个问题进行解答。 |
| 任务型对话 | task-oriented-conversation | 主要指机器人为满足用户某一需求而产生的多轮对话,机器人通过理解、澄清等方式确定用户意图,继而通过答复、调用API等方式完成该任务 |
| 开放型对话 | open-domain-conversation | 无目的、无领域约束能够在开放域内进行有意义的对话 |
| FAQ问答 | faq-question-answering | 输入候选FAQ列表和一个或多个query,模型输出排序后的FAQ列表 |
| 表格问答 | table-question-answering | 给定一张表格和一个query,query是询问表格里面的一些信息,模型给出答案 |
| 翻译 | translation | 将一种语言的文本翻译成指定语言的文本 |
| 完形填空 | fill-mask | 输入一段文本,同时将里面的部分词mask掉,模型通过理解上下文预测被mask的词 |
| 文本生成 | text-generation | 模型接受各种形式的信息作为输入,包括文本或者非文本结构化信息等,生成可读的文字表述。 |
| 文本摘要 | text-summarization | 自动抽取输入文本中的关键信息并生成指定长度的摘要 |
| 生成文本质量评价 | generation-quality-evaluation | 在给定源端输入、目标端参考答案、或两者均有提供的情况下,算法用于评估所生成文本的质量 |
| 端到端文本生成 | text2text-generation | 模型encoder端通过对输入信息进行理解编码后,在decoder端将信息解码生成可读的文字表述 |
| 特征抽取 | feature-extraction | 通过模型将原始输入数据转化为向量特征 |
| --- | --- | --- |
| --- | --- | --- |
| --- | --- | --- |