用户标签体系的设计和效果评估
用户标签体系的设计和效果评估
随着互联网流量逐渐见顶,传统的粗狂式的买量获客冲业绩很快会成为业务发展的瓶颈。对于中大型互联网公司来说,精细化的运营和精准化营销是企业运营老户,发挥存量用户最大价值的必经之路。新的流量洼地越来越少,企业一方面要做到精准获客,另一方面也要使出浑身解数提升用户留存,最大化挖掘用户价值。运营的精准化需要海量数据来支撑,而建设一个数据中台恰恰是重中之重,其中用户标签体系又是数据中台建设的基础能力和关键设施。
什么是用户标签体系 ?
用户标签是构成用户画像的核心因素,是将用户在平台内所产生的业务数据,行为数据,日志数据等分析提炼后生成具有差异性特征的形容词。即用户通过平台,在什么时间什么场景下做了什么行为,平台将用户所有行为数据提炼出来形成支撑业务实现的可视化信息。
用户标签可以有很多种存在形式,可以是用户的自然属性,可以是对用户交易、资产数据的统计指标,也可以是基于某些规则,总结出的一些分层。无论是哪种形式,都是对用户的某个维度特征做描述与刻画,让使用者能快速获取信息。
个人认为,好的标签需要具备如下四点特征:
1. 原子性。即用户标签是用户画像特征刻画的最细粒度。
2. 可复用性。标签可以被多次使用,而非一次性标签
3. 可度量性。标签值和价值可被度量和计算。
4. 可组合性。标签可被自由组合生成组合标签。
用户标签的分类:
标签有多种分类方式
1. 从更新频率来分:静态标签、动态标签
例如“性别”这个标签,一般来说是不会随着时间变动的,所以它属于静态标签;而“最近一次访问时间”会随着每次用户登录而更新,也就是动态标签。
2. 从开发方式分:事实标签、规则标签、预测标签
这一种分类方式是从技术开发角度区分的。
“事实标签”是从底层数据表中取出原始数据,进行简单的加减乘除运算得到的标签;例如“最近一次登录距今天数”这个标签,它反映基本事实。
“规则标签”则是进行了业务定义后的标签;例如“流失用户”这个标签,基于我们的业务认知,可以将“最近一次登录距今天数”大于30天的用户定义为流失用户,不同公司会有自己的定义方式。
“预测标签”,是需要利用算法分析预测才能得到的标签了;例如电商产品常通过用户的下单行为,去猜测用户的性别;通常算法类标签涉及复杂的逻辑与权重,开发难度大,在所有标签中占比不高。
3. 从生成规则分:单一标签、复合标签
一般来说,上述的统计类标签可以说是单一标签,而规则类和算法类标签就是需要多个单一标签组合而成的复合标签
4. 从层级上分:一级标签、二级标签、三级标签等
同样,层级也是为了业务理解更加有序才产生的,例如一级标签是大类,按具体行业和业务可以分为:人口属性,行为属性,营销属性,商业属性等。二级标签可以具体下分,比如商业属性下二级标签可以分为优惠券,三级标签分为优惠券-敏感度高/中/低用户。当然,如果业务逻辑复杂,可能还会有三级标签。
为什么要建设用户标签体系?
以作者多年从业经历来看,一般的中大型公司或多或少都已经有建设自己的标签,但实际使用效果却差强人意,很难驱动业务产生价值。我总结出互联网行业搭建统一的用户标签体系要解决的常见痛点:
1. 标签口径不一致
用户画像、精准营销平台人群圈选、算法特征都会涉及到用户标签,各个系统存在标签同义不同值、同值不同义的问题,举个例子:互金信贷行业的通过率,就有至少三种不同的统计口径,风控部门是以授信通过或者审核通过为准,财务部门以放款为准等。不同部门因侧重点不一样导致对这个指标的定义不一样。企业建设统一的标签平台规范口径也是数据中台的重要内容。
2. 标签指标重复建设
用户标签分散,重复建设,难以统一管理。形成了局部数据孤岛,存在重复建设的问题。
比如和标签生产相关的团队就有好几个:数据团队模型开发人员要做自己的模型变量标签,存在多个模型工程师重复建设同一标签而产生大量同质的标签表;数据分析团队归纳业务需求总结出来的标签,比如用户生命周期标签,若分析团队位于不同部门则重复建设情况更为严重,再加上技术开发同学做的营销平台,消息系统,优惠券平台等需要打常规的用户标签来选人等等。
3. 标签生产周期长
互联网公司的标签生产流程大抵如下:
业务提标签需求—>数据对接人(一般是数据PM or 分析师)收集转化—> 提交给数据开发(离线开发与实时开发) —> 数据开发按业务逻辑清洗数据,导入平台系统—> 后台开发 做成数据服务统一对外输出标签。
一般如果没有做标签上线流程的配置化,此时还需要前端开发介入,整个流程耗时长,平均需求产生到上线耗时一周以上甚至更长时间,和同行朋友聊,有些国有企业生产常规运营标签耗时竟然可以达到1个月,这样的生产流程根本无法满足业务快速发展的需求
4. 业务运营靠经验,手工操作流程多周期长
在缺乏统一标签平台或者没有精准圈人平台之前,以信贷行业为例,一般运营同学做活动的流程如下:
活动前:运营提选人需求->分析师提数—>风控人员规则过滤用户—> 运营手动分组
运营将名单导入到营销系统 —> 选择触达方式(消息/优惠券等)和触达周期(一次性/周期性/实时等) -> 触达用户
活动后:运营将名单再次给分析师 —> 分析师提数给运营—> 运营分析活动效果
这里面存在很多拍脑袋决策的节点,比如运营圈人规则看不到人群数量,容易出现圈定人群样本量过少无法进行营销活动;运营在看不到人群画像和分布的情况下,手动盲目对人群进行分组AB Test,容易导致AB Test结论不可靠。活动效果分析没有横向和纵向对比,无法客观得出活动到底做的怎么样。当然这里面还存在诸多手工操作的地方和维护困难的地方,比如每次圈人过风控规则,圈人后手工导入营销系统,手动将名单到给分析师提数做效果分析等。
基于以上种种痛点,那如何建设一个统一可用的用户标签体系呢?
如何设计用户标签体系?
核心原则:从业务中来,到业务中去;以终为始,怎么用来倒推怎么设计
任何脱离业务自造的标签都是自嗨,这也是很多大公司数据部门容易犯的错,数据部门想要从数据层面去驱动业务,基于自身过往从业经验,拍脑袋梳理和设计了上百个标签,却发现业务根本不买单。数据部门价值体现的唯一方式就是融入业务团队,知道业务来龙去脉和痛点。总结下来正确的顺序是明确商业目的,梳理业务流程,收集业务痛点,汇集整理标签,最后才是开发标签反哺业务。基于作者多年经验,如何设计标签可以归纳为以下两种方法:
方法一:基于业务主流程来设计标签
以信贷行业为例,梳理后信贷业务主流程如下:
激活 —>注册—>登录—>认证—>申请进件—>风控—>放款—>还款—> 逾期催收
以激活到注册流程为例,为精准化识别用户渠道及后续做渠道成本结构优化,我们这个环节可能需要的标签是注册渠道,获客渠道,渠道类型,结算类型,获客成本,注册设备等
再以申请进件到风控流程为例,结合流程中常见的业务场景,可能需要的标签:首次/最近一次申请时间/产品/额度/是否通过,总申请次数/金额,拒绝次数/放弃次数,通过类型(人工/系统自动)等
方法二:基于业务场景来设计标签
以典型运营场景为例,信贷业务主要靠老户复贷挣钱,促老户复贷是经常会做的一个运营活动,思考活动运营的三个要素(活动对象,在什么场景,执行什么策略),我们需要的标签可能是用户类型(新老户),最近一次成功还款时间/金额,最近一次借款产品,产品偏好,优惠券敏感度/响应度,额度敏感度/响应度 等等
方法三:基于北极星指标自顶向下设计标签
一般公司每年会基于大的战略方向制定公司整体的北极星指标(指引业务发展的指标),然后基于整体业务指标自顶向下拆分到各业务部门,各业务部门再根据运营策略拆解成更细的指标。
举个例子,某信贷公司制定当年度北极星指标为:利润,注册量,放款量,逾期率。其中利润为主指标,其他三个指标围绕利润指标进行平衡。想提升利润核心是提升放款量,但提升放款量会带来获客成本上升以及坏账成本上升,所以这是三者的平衡。我们先来拆解下利润指标:
利润 = 收入 – 成本
收入 = 放款人数 * 人均放款金额 * 收益率
成本 = 获客成本 + 坏账成本
提升放款人数:常见的运营手段 有低成本获客,优化各环节转化率,提升借款通过率,涉及到的标签类别是 获客场景标签,各节点是否完成转化标签,借款行为场景标签等
提升人均放款金额:需要配合做用户运营,比如单期转分期,短期转长期,优质用户提额,促进老用户复借等,涉及到是单期/累计 借款金额/笔数/最近一笔距今时长,用户产品偏好,用户资质,用户等级,续贷间隔,续贷次数,用户生命周期等标签等
下面我们看看成本指标,信贷公司最大的成本在于两块:获客成本和坏账成本
降低获客成本:本质上需要接入更多优质渠道以及优化CPA/CPS结算的转化率,基于此这里涉及到的标签是 注册时间,注册渠道,获客渠道,渠道类型,结算类型,获客成本,注册设备等
降低坏账:本质上是对逾期用户进行管理,需要很多贷款信息标签和逾期信息标签,比如累计逾期金额,累计逾期笔数,最近一次逾期时间,最长逾期时间等等
此外,设计一个好的用户标签平台还需要考虑如下特征:
1. 数据和业务团队双赢策略— 标签生成自助化
让使用方自助生成标签是数据团队和业务团队双赢的策略,即提高了业务团队运营的效率,解决了标签的业务字段逻辑沟通的成本,同时释放了数据团队开发标签维护标签的工作。标签生成自助化前期开发成本较高,适用于在中期上线第一版后再来落地。具体如何设计自助化打标功能,可以在后续文章中逐一分享。
2. 标签系统价值的可持续性— 建立有效的标签管理维护机制
标签的维护包括标签规则及元信息维护,标签生产调度机制及信息同步,有统一的输出接口。
这是持续释放用户标签平台的重要步骤,也是容易被忽视的环节。
3. 标签平台的运营
标签平台是数据产品,既然是产品就需要做运营,让我们的用户更好更高效的使用起来。 及时关注用户反馈,经常做一些运营手段来触发用户,让产品和用户交互起来。这里引申出一个更大的话题:如何做数据产品的运营?这个话题后续再逐步分享。
如何评估用户标签体系的效果 ?
为什么要进行标签效果评估?
对标签的质量进行科学完整地评估,有助于控制标签质量,指导标签的管理者、开发者不断地提升标签质量。通过创建一套完整的评估体系,对于质量过差的标签,可以考虑不进行上线,等达到基本的质量要求后才能开放给业务使用。不然,既对业务带来不了价值,也容易让标签画像系统失去用户的信任。
如何评估?
可以从以下三层来评估标签效果和价值
1. 数据层面
一般使用三个指标: 覆盖度,准确度,稳定性
1) 覆盖度是指在一个标签中,有业务含义的人群数量与总人群数量的比例。
举个例子:【优惠券敏感度】标签,全量用户是100万的规模,其中20万打上了“高”标签,20万打上了“中”标签,30万打上了“低”标签,其他30万人都没有打上任何标签。那么,【优惠券敏感度】标签的覆盖度就是70%。这个覆盖度还算是可以,如果覆盖度过低可能会有下面的负面影响:
用标签进行人群圈选的时候,人数过少,无法满足运营活动对样本量的最低要求;
用标签统计平台用户的特征时,和真实情况会有统计偏差,即样本无法代表整体。
一般而言,用户自己填的标签和模型算法打出来的标签,覆盖度会偏低。
2) 准确度是指给用户打的标签中,准确反映事实的人群数量与总人群数量的比例。
举例子:【性别】标签,总用户100万,真实情况是男60万,女40万,系统打标成男50万,女30万,其他20万 根据交叉矩阵,真实是男且标签是男用户40万,真实是女且标签为女用户25万,则标签准确率为 (40 + 25)/ 80 = 81.25%
真实情况是现实世界标签的准确度往往是很难评估的。一般会用一些外围样本数据来辅助验证,比如对于性别标签,可以抽样让客服电话调研拿到真实性别数据,通过样本来估算整体。
3) 稳定性是指给用户打的标签中,能在指定时间点前被准确计算出来的次数比例。
举个例子,信贷行业中的关联指标【通讯录中近30天有借款逾期人员的比例】,这类指标需要计算几个亿的通讯录表,和业务表关联好几次,计算复杂度高,高峰时期容易跑不出来。 稳定性标签还要根据各标签的计算复杂度来综合评估,一般静态类标签稳定性比较高,算法预测类标签复杂计算逻辑或者关联上下游表比较多的标签在特殊情况下稳定性会差一些。一般而言,稳定性要达到99%以上才能被业务接受,关键时刻不能掉链子。
2. 应用层面
1) 用户覆盖度
可以使用两个指标衡量覆盖度:产品触达率和产品打开率
产品触达率 = 触达用户数 / 目标用户数
举个例子:标签产品目标用户(产品,运营)共计100人,知道该产品的用户80人,则触达率为 80%
产品使用率 = 使用过的用户数 / 触达用户数
2)标签使用度
使用度可以综合从以下几个指标评估,包括 使用次数,使用热度,服务调用次数。可考虑人均聚合或者阶段汇总聚合。对于应用使用度低的标签,可以针对性地进行分析,不断提升每个标签的使用价值。
3. 业务层面
业务价值是业务人员对标签系统的主要考核价值。标签系统业务层面的应用很广泛,从精准营销,精细化运营到个性化推荐,广告匹配系统,BI系统。以精准营销平台为例,一般业务价值可以从降本增效来考虑,比如营销成本降低,营销频次提高,营销人效提升等角度来衡量。
参考指标:
营销成本降低:以前运营圈人活动平均响应3天 -> 现在0.5天
覆盖场景数提升:以前一周内覆盖50%运营场景 —> 一周内覆盖90%运营场景
触达用户数提升:每日触达2万用户 —> 每日可触达10万用户
营销ROI提升:
另外一个比较好的指标就是业务运营的ROI,业务如果用了一个标签,对一群人进行了投放,ROI是日常投放的好几倍,那这个标签的价值可以说是毋庸置疑了。这时,我们可以说这个标签的业务价值很高。标签系统实际上可以大幅降低了业务运营的成本,导致整体ROI提升,这需要和业务配合一起做评估。比如有个同类活动在使用标签系统前的ROI和使用后的ROI对比,更会彰显标签系统的价值。
如果能找到一些和业务核心KPI直接挂钩的评估手段,那会更加彰显标签平台的重要性。
这里有个问题:如何去准确统计这些指标,需要数据同事和业务同事沟通敲定
标签体系的业务价值衡量,确实是个难点,很难直接评估。而业务向上汇报过程中往往会将“标签平台”价值一带而过,强调“人”和“运营”的重要性而忽视“工具”和“平台”的重要性。这就需要数据同学自己具备业务价值量化评估的能力,一个好的方式是多和业务部门合作,参加业务部门运营活动会议,用数据去影响和驱动业务部门,让业务离不开数据团队,自然业务就会在给大老板的汇报中多多提现“数据标签”的价值。这样才能实现业务和数据团队的双赢局面。
用户标签体系总结
总结下全文的创作结构如下:
1. 什么是用户标签体系
2. 为什么要建设用户标签体系
3. 如何设计用户标签体系
4. 如何评估用户标签效果
用户标签体系是个庞大的系统工程,不可能一蹴而就,需要随着业务发展情况而不断迭代完善和丰富。在设计过程中,需要抛弃一上来就大而全的设计理念,根据业务需求场景来逐步落实和丰富标签,毕竟能产生业务价值才是评价标签体系的根本。还要不断研究和学习业界优秀的标签平台(CDP/DMP平台)会给自己设计产品带来一些灵感,比如业界做的比较好的像 神策数据用户画像,腾讯广点通,阿里达摩盘,字节跳动CDP等。
企业在发展的过程中,要依据具体的数据成熟度和数据应用度来衡量是否有必要建立自己的用户标签体系。大厂标配的CDP平台并非适用于所有公司。希望业界朋友都能认识到数据驱动的价值,而数据产品存在的本质也就是 降低企业经营和业务决策的成本,不是吗?