• Welcome to the world's largest Chinese hacker forum

    Welcome to the world's largest Chinese hacker forum, our forum registration is open! You can now register for technical communication with us, this is a free and open to the world of the BBS, we founded the purpose for the study of network security, please don't release business of black/grey, or on the BBS posts, to seek help hacker if violations, we will permanently frozen your IP and account, thank you for your cooperation. Hacker attack and defense cracking or network Security

    business please click here: Creation Security  From CNHACKTEAM

Recommended Posts

什么是推荐系统?

随着移动互联网的发展,越来越多的信息开始在互联网上传播,造成了严重的信息过载。因此,如何从大量的信息中找到用户感兴趣的信息,是推荐系统的价值所在。推荐精准解决用户痛点,提升用户体验,最终留住用户。

推荐系统本质上是一个信息过滤系统,通常分为三个环节:召回、排序、重排序.每个环节都经过层层筛选,最终从海量素材库中筛选出几十个用户可能感兴趣的条目推荐给用户。

image

推荐系统应用场景

类别:今日头条、腾讯新闻等。

电子商务:淘宝、JD.COM、拼多多、亚马逊等

娱乐类:Tik Tok、汽车快车、爱奇艺等。

服务:美团、大众点评、携程等。

社交:微信、陌陌、脉脉等

推荐系统分类

基于用户维度的推荐:根据用户的历史行为和兴趣进行推荐,比如淘宝首页猜你喜欢,Tik Tok首页推荐。

基于物品维度的推荐:根据用户当前浏览的题材进行推荐。例如,当你打开JD.COM APP的产品详情页面时,你会被推荐与主产品相关的产品。

搜索、推荐、广告三者的异同

搜索和推荐是AI算法最常见的两个应用场景,在技术上有相似之处。这里说到广告,主要是考虑到很多没做过广告的同学不知道为什么广告和搜索推荐有关系,所以我来解释一下。

搜索:有明确的搜索意图,搜索结果与用户的搜索词相关。

推荐:不具有目的性,依靠用户的历史行为和画像数据进行个性化推荐。

广告:借助搜索和推荐技术实现广告的精准投放,广告可以理解为搜索和推荐的一个应用场景。技术方案比较复杂,涉及智能预算控制、广告竞价等。

推荐系统整体架构

image

以上是推荐系统的整体架构图,自下而上分为多层。每层的主要功能如下:

数据源:推荐算法所依赖的各种数据源,包括物品数据、用户数据、行为日志、其他可用的业务数据,甚至公司外部的数据;

计算平台:负责底层各种异构数据的清洗、处理、离线计算和实时计算;

数据层:计算平台处理的数据可以根据需要存储在不同的存储系统中。比如Redis可以存储用户特征和用户画像数据,ES可以用来索引物品数据,Faiss可以存储用户或物品的嵌入向量等。

召回层:包括各种推荐策略或算法,如经典的协同过滤、基于内容的召回、基于向量的召回、流行推荐做后盾等。为了应对高并发在线流量,通常会预先计算召回结果,建立倒排索引,然后存储在缓存中;

融合层:触发多次召回。由于召回层的每个召回源都会返回一个候选集,因此需要对该层进行融合和过滤;

排名:使用机器学习或深度学习模型和更丰富的特征进行重新排序,选择更小更准确的推荐集返回到上层业务。

推荐引擎核心功能和方法

其实对于推荐引擎来说,核心部分主要是两部分:特征和算法。

image

由于数据量大,特征计算通常采用Spark、Flink等大数据的离线实时处理技术。然后将计算结果保存在Redis或其他存储系统(如HBase、MongoDB或ES)中,供召回和排序模块使用。

召回算法的作用是从海量数据中快速获取一批候选数据,要求尽可能的快速准确。这一层通常富含策略和算法,用于确保多样性。为了更好的推荐效果,有些算法会做得接近实时。

排序算法的功能是以精确的方式对多个召回的候选集进行排序。它会利用物品、用户及其交叉特征,然后通过复杂的机器学习或深度学习模型进行评分和排序。该层的特点是计算复杂,但结果更精确。

参考

http://www.woshipm.com/pd/4223123.html

Link to comment
Share on other sites