算法推荐系统的核心:内容标签与用户标签
本文概要:背景、算法推荐系统的两个核心、如何衡量推荐系统的好坏、总结。# 背景在过去的纸媒时代,消费者获取信息和内容的能力非常有限。即使报纸和杂志的内容千篇一律,许多人还是喜欢看个不停。然而,随着互联网时代的到来,信息呈现出爆炸式增长的形势。每天产生的数据量以EB为单位,预计到2025年将达到491EB。虽然现在消费者对信息的获取更加主动且丰富,但这并不意味着所有内容都是有效的。在纸媒时代,专业编辑会对内容进行筛选和排版,然后分发给消费者。然而,在互联网产品中,即使内容很丰富,如果用户对其不感兴趣,那么它就是无效的内容。因此,解决这个问题变得尤为重要。在2013年,淘宝提出了“千人千面”的概念。利用淘宝网庞大的数据库,从细分类目中抓取与买家兴趣相匹配的商品,并进行优先展示。每位在淘宝网上购买或浏览商品的消费者都会被打上标签,例如年龄、地域、客单价、收藏偏好等。在千人千面的模式下,不同标签的用户将看到不同的产品。因此,更加高效的内容分发方式从野蛮生长逐渐进化为精细化运营的时代。如今,几乎所有搜索引擎、浏览器、资讯软件、内容社区和社交软件等产品都配备了算法分发。运营人员需要了解相关算法知识和推荐机制背后的原理。# 算法推荐系统的两个核心:内容标签与用户标签算法原理可以用一句简单的话来解释:让喜欢看妹子的用户看到含有妹子的内容。然而,在现实环境中,能够做到这一点的公司并不多。为什么抖音让人上瘾?许多人可能有这样的体验:在不同的场景(家中、地铁、公司)和时间点(早上、中午、晚上),即使是同类型的内容(如电影),实际接收到的内容也有所差别。例如,白天会收到幽默的内容,而晚上则会收到悬疑的影视剪辑片段等。无论何时打开抖音,都能让用户沉浸其中,感觉不到时间的流逝,常常一下子就过去了一两个小时。抖音似乎非常了解用户,因为推送的内容都是用户喜欢看的。除了产品设计、沉浸式消费体验和短平快的内容节奏等因素外,其中还涉及算法推荐机制和运营策略等因素。给内容打标是否真的那么简单?实际上并不简单。在给内容打标签之前,首先需要定义标签。即清楚地说明什么是苹果,而不是将苹果称为梨。一篇内容通常包括一级分类、二级分类、三级分类和标签几个层次。对于普遍认知的分类和标签,如动漫>日漫>火影忍者>鸣人,定义起来相对容易。但对于搞笑、美女等标签来说,通常因人而异,因为每个人的笑点和审美不同。到底什么内容才算好笑、多好看才算美女?不同人有不同的认知,因此定义语义标签是一个难点。实体标签和语义标签是两个概念,实体标签是确定的,如广州、马云和淘宝。语义标签如沙雕、美女和奇葩等词没有确定的指定对象,因此打标的难点通常出现在语义标签的定义上。语义标签的推荐效果是检验一个公司自然语言处理技术水平的试金石,根据不同公司的业务能力和需求,对标签的要求也不同。
有些公司在标签打上火影忍者后就不再细分,将其作为最小颗粒度的标签。任何与火影忍者相关的内容都可以使用这个标签,但是这种一刀切的做法对后续的运营工作有影响。有些用户可能想看或者搜索鸣人,但是推送和搜索结果却全是火影忍者里其他角色的内容。另一些公司则继续细分,比如火影忍者>鸣人、佐助、小樱等实体标签。因此可以看出,标签的粒度越细,推荐的内容越精准,但同时也需要投入更多的资源。即使把整个公司的打标团队召集到一起,经过统一培训和讲解,一个月后大家对沙雕和美女有了一致的认知,审美也逐渐一致了。但是,这样标签打的工作就能顺利进行吗?不行!让我们先休息一下,然后再继续讨论。
用户标签:可能是最难搞的部分
-
用户口味就像个难哄的女朋友,比起内容标签,用户标签更加困难。因为火影忍者就是火影忍者,一旦打上这个内容标签,它就不会变成海贼王。内容标签可以通过人工打标和机器训练来实现。但是用户不同,可能这个月喜欢看火影忍者,推荐算法也会根据他的兴趣匹配相关内容。但是下个月他可能受到朋友或同事的推荐开始看海贼王,如果算法还没有反应过来,继续推送火影忍者的内容,对他来说这些内容就是无效的,影响了内容的分发效率。就像胡萝卜始终是胡萝卜,但是用户的口味却会不断变化。今天想喝汤,明天想吃肉。这涉及到推荐窄化的问题,推荐算法越差的产品,推荐的内容越容易窄化。如果用户不小心点击了几篇文章,算法就会默认他喜欢这类内容,然后一直推送相关信息,无法根据用户的口味变化进行灵活调整。尽管在这个时代,不管使用哪个内容产品,都可能出现信息茧房的现象,但是成熟的NLP技术和初级技术之间的产品体验效果仍有很大差别。
-
在进行用户标签之前,需要先掌握与用户相关的基本信息,通常包括性别、年龄、地点、兴趣偏好等。性别有助于分发与性别属性明显相关的内容,比如给男生推送体育、给女生推送美容护肤;年龄也是如此,给年轻人推送动漫、游戏等内容,给老年人推送养生、保健信息等;地点用于推送与区域热点相关的信息,比如给上海用户推送上海突发新闻,对广州用户可能没有多大影响。以上三个信息通常可以通过用户自动填写或授权访问位置信息的方式获取,并且不会有太大变动。而用户兴趣偏好是做用户标签的难点。获取用户兴趣偏好的方式是根据用户消费过的内容匹配相应的标签,通常采取以下几种方式进行定位:过滤噪声,比如用户被标题党内容吸引进去,但是停留时间很短,说明用户对这类内容的标签不感兴趣,可以过滤掉标题党;热点降权,对一些社会热点和突发新闻,虽然用户短时间内浏览了相关信息,但不能说明用户对娱乐内容特别感兴趣,需要对娱乐兴趣偏好进行降权处理;时间衰减,用户的兴趣会发生偏移,因此推送策略需要更偏向于新的用户行为;惩罚展现,如果推荐给用户的文章没有被点击,那么相关特征的权重会被降低。例如,对于新注册用户,通过测试方式来判断用户对内容的兴趣偏好。比如连续推送两条影视剪辑(A-A),用户都完整观看并点赞、评论等操作;然后推送影视剪辑后推送母婴内容(A-B),用户只观看了影视剪辑,但没有点击母婴内容。说明用户对影视剪辑的兴趣偏好较高,对母婴标签内容的兴趣偏好较低。
-
不同内容类型的推荐权重不同。综合型平台通常包含多种类型的内容,比如长图文、小视频、短视频、问答、微头条等。即使是同一个标签,比如"美女",不同内容类型的推荐权重是否一样?还是给经常看小视频的用户优先推送相关内容?这也是算法推荐机制需要考虑的问题。而不同产品形态对于内容类型的推荐权重也不同,比如B站首页对于短视频的推荐权重通常高于小视频的推荐权重。
如何衡量推荐系统的好坏
内容推荐的准确性通常可以通过数据分析来评估。可以从点击率(CTR)、消费时长、点赞、评论、转发等可量化指标入手进行分析,即Y=F(X1,X2,X3)。评论数的影响权重通常大于点赞权重,不同平台根据产品差异也会设置不同的参数权重。而不同用户由于账号置信度的差异,即使对同一条内容点赞,对该内容的影响权重也有差异,比如知乎大V点赞与普通账号点赞是不一样的。但是有时候数据也有缺陷,比如对于低俗、标题党、涉黄内容,如果在一段时间内吸引了大量用户点击浏览,算法能否判定其为好内容并加大推送量呢?答案显然是否定的。通常需要打压降权的内容主要有广告、低质搬运内容,涉黄、低俗恶心内容,标题党、低质账号内容等。
基于社会责任感和政策法规等因素,我们需要对相关内容进行限制和降低权重,同时优先展示重要的时事新闻。这是因为算法本身无法独立完成这些任务,需要与运营团队合作。许多资讯平台都有专门的首页运营小组负责进行人工干预,而许多APP的通知栏推送也是通过算法和人工的方式进行的。
总结回到开头所说:要让喜欢看妹子的用户看到含有妹子的内容。实现这个目标需要做到以下几点:
1. 准确定义和打标内容标签:不同的人对于相同的标签可能有不同的理解。因此,需要确保对内容进行准确的标签定义和打标。
2. 精确匹配用户标签:清楚了解用户对于不同类型的“妹子”感兴趣的程度,比如长发妹子、短发妹子、双眼皮、单眼皮、南方人还是北方人等。用户标签建立在内容标签准确的基础上,如果内容标签不准确,那么建立在其上的用户标签也会不可信。
3. 算法训练:为了让机器能够自动进行内容打标,通常需要花费数周的时间来训练一个标签。通常采用抓取标题关键词的方式进行内容标签的打标,但有时标题与实际内容可能存在较大差异,导致标签不准确。因此,需要进行人工复核来判断准确性。
4. 内容供给:即使内容标签和用户标签都准确,算法训练也足够强大,但是否有足够的内容供给呢?这是一个重要问题。例如,如果用户都喜欢看“长发、双眼皮、南方妹子”的相关内容,但内容库中这类内容并不多,推送几条之后就会开始重复,用户会感到厌倦。因此,运营策略需要与算法配合,进行相应的调整、引入和扩充内容。
除了以上问题,还有一些其他问题需要运营人员不断探索和解决:
-
上游的内容生产者是谁?
-
需要多少内容才能满足需求?
-
新增内容对现有其他内容品类有何影响?
-
如何分配不同级别的内容创作者的收益?
-
如何优化内容从生产、入库、审核、打标、分发等环节的损耗情况?
这些问题都是运营工作者在实际工作中需要不断摸索和解决的。
免责声明:本内容来源于第三方作者授权、网友推荐或互联网整理,旨在为广大用户提供学习与参考之用。所有文本和图片版权归原创网站或作者本人所有,其观点并不代表本站立场。如有任何版权侵犯或转载不当之情况,请您通过400-62-96871或关注我们的公众号与我们取得联系,我们将尽快进行相关处理与修改。感谢您的理解与支持!
请先 登录后发表评论 ~