知识分享

  • 首页
  • 市场分析
  • 需求分析
  • UI设计
  • 产品运营
  • 产品设计
  • 项目管理
  • 新玩意儿
不积跬步无以至千里
不要停留,欣赏沿途的风景
  1. 首页
  2. 产品设计
  3. 正文

如何从0到1快速搭建标注系统

2020年12月15日 199点热度 0人点赞 0条评论

编辑导语:在很多公司都会有标注系统,标注系统属于一种辅助型产品,我们对特定的对象进行标注;标注系统在使用中要注重它的稳定性等,在设计过程中也有很多注意的点;本文作者分享了关于从0到1快速搭建标注系统的方法,我们一起来看一下。

一、明确标注目的

绝大部分的标注系统,是一种辅助型的产品;按照一定的标注标准,由人工完成标注对象的标注,为业务系统、模型系统、数据系统等提供支持服务。

目前,市面上有不少提供标注服务的公司,但由于标注会涉及数据敏感、标注内容归属、标注质量等问题,不少有一定实力的公司,都会自行定制研发所需的产品,确保标注流程和结果处于可控状态。

在进行标注系统的搭建之前,我们需要明确标注的目的所在:

  • 标注结果的使用方是谁?是为业务服务,还是模型训练使用?如果标注结果满足要求,可以为使用方带来怎样的效果?
  • 是否有强烈的需求,要定制开发标注系统?公司内部其他标注系统是否可满足,用excel等工具进行线下标注是否可满足,以及不满足的点是什么?
  • 标注的类型是什么?是视频、图片、文字、音频?是分类标注(通常是可枚举的分类,标注对象属于某一类或多累,比如新闻分类中的时政、财经、体育、社会等),还是识别性标注(通常是不可枚举得,比如,要识别出一个视频中人物的性别、年龄范围、胖瘦等)。

二、标注筹备

明确了为什么要开发标注产品以后,接下来需要进入标注服务的筹划中:

1)明确标注标准,标注标准是标注工作开展的前提;它不仅关系标注人员手工标注的效率、质量,还影响标注系统的搭建。这里对标注标准的最重要的要求就是,标注标准是准确的、可执行的。

2)筹建标注团队,标注团队分为2类:

  • 人工标注团队:他们是标注系统的直接使用者,对整个标注服务至关重要;因此,在筹划标注团队的时候,要选择认真仔细、有耐性的人员;在确定好标注标准后,还要对人工标注团队进行培训,并进行充分的沟通讨论,防止标准设定人员与人工标注人员对于标准的理解有差,同时将标注效率、标注质量作为人工标注人员的考核依据;此外,还应该根据情况对人工标注团队,进行标注员与质检员的角色划分,前者负责标注工作,后者负责标注结果的抽查工作。
  • 产品开发团队:与大部分的产品团队配置类似,产品、前后端、测试都不能少;最好可以把标注系统的使用方也拉进来,比如业务方产品、模型算法工程师等,听取他们对于标注标准、系统功能和流程的建议。

3)了解标注需求量、预估日均标注量;这里主要是来评估标注量是否可以满足需求量,以及标注结果的数据存储等。

三、标注系统设计

一个基本的标注系统流程,应该包含以下几个模块:

按照箭头所示的流程:

  • 原始语料,进入数据库。
  • 标注系统从语料数据库中,读取未标注的语料。
  • 标注完成的语料,进入质量评估模块。
  • 质量评估合格后,进入语料数据库,作为已标注语料。
  • 已标注的语料,同步给使用方进行使用。

下面对每一个模块进行详解:

1. 语料数据模块

有几个功能:

  • 语料数据模块,用来储存语料数据;区分已标注、未标注。
  • 与系统外部对接,同步原始语料,输出已标注语料。

2. 标注系统模块

有以下子模块:

  • 任务分配:这里需要有一个语料任务分配机制,用来将语料分配给不同的标注员、质检员;这个分配机制可以是手动的,也可以是自动的,根据具体情况,来具体实现。
  • 标准管理:是对标注标准进行管理的地方;主要包含2个功能:一是,对标注标准文档进行管理和查阅,以方便标注人员在标注模棱两可时快速获取正确标准进行标注;二是,对标注的类型、类别、识别性标注辅助信息的配置功能,比如,针对新闻内容的分类标注,有时政、财经、社会、体育四个类别,需要加第5个类别房产,就需要用到标准管理模块。
  • 语料标注:这是实现标注人员的核心标注界面。根据业务具体情况,可以是单条标注,也可以是列表式标注后统一提交等;需要说明的是,标注界面的展示信息要尽可能的完整,这样标注员才能尽可能准确标注。
  • 业务管理:由于标注系统不可能是服务于单一业务的,尤其是在大公司内部,很多时候会接入很多标注业务;这个时候,就需要对业务进行管理,确认业务的标注目的、类型、标注量等,以及相关的申请、审核、权限工作。

3. 质量评估模块

我们对标注人员的效果衡量,通常从数量和质量两个维度。数量比如容易,就是简单的标注数量统计。而质量的评估会比较复杂,有两种方式:

1)手动评估:这里是由质检员对标注员的标注结果进行抽查,来确定标注员的标注质量;在抽查时,系统应提供给质检员对标注员的数量抽取和比例抽取两种基础抽查手段。

2)自动评估:由于面向的业务千差万别,自动评估方式也应该各不相同的;对于类别标注,可以采取多人投票的形式,假设我们把1条语料,分配给A、B、C3个人进行标注,如果A和B标注的结果一致,与C不一致,那么我们按照少数服从多数的原则,默认A、B的结果是正确的,C是错误的;通过这种随机抽取一定量的语料,分配给多人投票来进行自动评估,在一定程度上,是可以比较好的正确评估标注人员的质量。

4. 其他模块

  • 数据统计:用来统计标注量、标注质量、标注类别分布等情况;由于标注团队的规模一般都比较大,在10人以上,且标注团队关注的数据,与产品人员不尽相同,这里也需要定制化的开发一些用于评估标注员绩效考核的模块。
  • 角色权限:对标注系统进行权限管理的地方。角色通常有管理员、质检员、标注员等。
  • 邮件报告:每日或每周通过邮件的形式,来获取标注情况的报告。

以上仅是标注系统的简单架构和说明。在实际的标注系统搭建过程中,还应该根据实际情况,进行调整。

四、实际上线使用

标注系统上线以后,应该重点关注:

  • 标注的质量、效率情况:一方面,了解标注人员的标注情况;另一方面需要对标注的成本、投入产出比有所预估,避免投入了大量标注人力进入,得到的结果却是不尽人意。
  • 对模型训练、业务的效果提升:标注系统搭建的初衷就是来提升业务效果、提高模型的各项指标。系统上线后,要紧紧关注系统的使用效果,要多向业务贴合,避免沦为彻彻底底的工具型产品。

五、值得注意的点

文章结尾的地方,我来谈谈标注系统中值得注意的点:

首先,要保证标注标准的稳定性;因为标注系统一旦上线开始运行,如果标注标准发生变更,前期的所有标注工作,都有可能推倒重来,造成人力的浪费。

其次,保证标注的质量和效率;要把质量和效率,作为标注系统后面迭代的优化目标,但很多时候标注的质量和效率,就好像是模型评判的准确率、召回率一样,难以双高;这时候就要看业务的重点关注是什么了,是否对质量非常敏感,是否可以牺牲部分质量,来推进标注效率。

最后,标注系统也可以推陈出新,与业务紧密结合;标注属于典型的辅助型工具产品,在很多公司都属于一次开发,日后就基本不再迭代优化的产品;这样其实是非常浪费的,因为标注系统不仅有一个系统产品,还有海量的标注语料和人力;在某些场景下,可以充分利用这些语料、人力,去开辟一些与业务结合的方向出来。

#专栏作家#

木叶飞飞,blog:muyefeifei.com。人人都是产品经理专栏作家。

本文原创发布于人人都是产品经理。未经许可,禁止转载

题图来自 Unsplash,基于 CC0 协议

给作者打赏,鼓励TA抓紧创作!

标签: 暂无
最后更新:2020年12月15日

小虾米

同理心,洞察力!

点赞
< 上一篇
下一篇 >

文章评论

razz evil exclaim smile redface biggrin eek confused idea lol mad twisted rolleyes wink cool arrow neutral cry mrgreen drooling persevering
取消回复
最新 热点 随机
最新 热点 随机
我在椰树直播间,花了三分钱 东方甄选走红这一年 京东自营开始踩刹车 “单车刺客”6.5元一小时!共享单车平台还是赚不到钱,你被刺了吗? 政务CRM-CRM在政务行业的应用现状 Temu的砍一刀,迷倒了美国人 社交媒体围攻BOSS直聘 组件应用 | 个人主页头部,应该如何设计? 远程技术团队,操作回顾会怎么开? 我在网上卖“土”,年入5000万 增长模型:产品增长的通用思维框架 “大人”,榜单时代变了 汽水音乐一周年:“抖音BGM播放器”的起与落 一个方法论,搞懂支付的一切 密码强度计有哪些局限性? 618回归“价格战”:京东淘宝进入存量竞争,小红书、视频号深入电商直播 兴趣电商未来会超过货架电商吗? 直播带货再难造神:天涯重启失败,7天只卖了36万 鏖战13年后,线上超市的肉搏还在继续 最佳的阅读一行是多少字最合适?
被集市收割、被买家嫌弃,“摆摊后浪”有点惨蓝领用工招聘平台的数字化建设思路干货分享:WMS系统—PDA的应用iOS 17,能否守住「iOS神话」?系统功能设计:网络加速器系统产品需求设计电商扫盲第一讲:GMV的底层逻辑打造一个基于本地社区的闲置交易平台,你看好吗?东南亚出海洞察:去东南亚为直播电商开荒,没有超头主播,货品供给不足……定金+尾款模式背后的套路天涯老用户的自救,让我明白情怀是最不值钱的东西抖音上线酒店日历房,其他平台会慌吗?从需求到设计开发,产品质量问题如何分析靠咱们看腻的电视剧,爱奇艺和腾讯在东南亚成了顶流如何让你的“对内B端产品”看起来有价值?设计走查知多少产品思考:视觉冲击!以图片展示金额,“省钱卡”这样玩就对了多多买菜为什么比美团买菜要便宜?都在骂网暴,为什么网暴一直没有停过韩国漂流记:明星在面前,咖啡在手里,中国互联网公司在广告墙自动驾驶风口退潮的深层逻辑
智能家居中控屏(二)——产品设计 B端产品设计 | 如何写好一份详细方案设计? 这群人决定“复活”天涯论坛,方式有点奇葩 用左导航还是顶导航?我从这4个角度做了一个完整的分析 抖音活成了“巨头公敌”? 我们常听到的 Web 3,究竟是什么? 从交互的角度讲讲弹窗(下) 手把手教你如何解决B端产品个性化需求问题 从“圈地运动”到“技术开放”,互联互通迈入深水区 B 端设计 | 更复杂的图表表现形式都有哪些? 《狂飙》、《三体》都这么热了,为什么视频网站还要收紧会员权益? 有了这些产品设计文档,我再也不用背锅了! 好设计、坏设计,产品设计怎么评审 层层剖析促销系统的优惠规则 产品心理学:蔡格尼克效应 低代码又火了?数据产品早就开始低代码了! 产品经理跟程序员友好相处的3个技巧 付费社群的钱,没有那么好挣的! 这门生意,在春运时翻倍暴涨 8张图,看懂数据驱动业务的六个层次

COPYRIGHT © 2023 知识分享. ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang