推荐算法的“前世今生”(算法推荐的原理)

下面由小编针对推荐算法的“前世今生”为您答疑解惑，希望能给您带来有一些有效参考。

算法分发是未来之物，它是信息过载时代智能分发的产物:算法分发或也终将成为过去之物，因为下一代技术的发展永远可以突破当代人的想象，就像宋朝人无法想象移动互联网。

作者| 童淑婷 字节跳动平台责任研究中心研究员算法分发、编辑分发、社交分发……在信息时代，人们常常讨论信息分发问题，相关概念也成为大热名词。

但事实上，信息资源一直在人类的进化和发展中占据着重要位置。

社交分发是最古老的分发方式，编辑分发也比我们想象得更早。

而当我们把算法分发置于人类社会信息分发的历史长河中，便能清楚地看到它的“前”与“后”——从这个角度来看，新鲜的算法推荐，其实也不新鲜。

亘古的信息分发问题信息分发，是一个亘古问题。

不妨从一个有趣的联想开始：在人类文明早期，群居的祖先们依靠采集和狩猎生存。

由于狩猎是一个非常危险的技术活，人们需要交流狩猎作战的信息和经验，来提高成功率。

比如，猎物出现时用什么信号召集同伴？从什么位置伏击猛兽效果更好？他们通过手势和发声，把这些重要信息分发给同伴——这便是“社交分发”，人类社会最原始的信息分发方式。

“知”（甲骨文）：甲骨文的“知”就表示谈论和传授行猎、作战的经验。

社交分发的意思是基于社交关系的直接和自然的分发。

《人类简史》用“八卦”来描述这种信息交流，指出八卦对人类进化的重要作用。

另一种自古就有的信息分发形式，则是编辑分发。

虽然英文“edit”一词的出现和报纸相关，可这种分发形式早已有之。

在口传时代，由古希腊盲诗人荷马搜集、整理而成的“荷马史诗”（《伊利亚特》和《奥德赛》）就是典型例子。

汉语将“编辑”解释为“收集资料，整理成书”。

去其形，取其义，这种信息分发的根本特征是：信息经过整理后分发至接受者，有加工和把关的意涵。

无论社交分发，还是编辑分发，它们都已经历史悠久。

只是承载这些分发方式的具体媒介在不断更新和变化，也给这些分发方式带来了新的可能。

比如，互联网通过对社交关系的限制（地域、血缘等）突破，在某种程度上实现了跨区域的社交联结，也让社交分发的范围从家庭、线下社区，转向更广的兴趣群体。

进入互联网时代，科学家和工程师都在努力解决信息过载环境下的分发问题，早期两种代表性的解决方案是分类目录和搜索引擎——前者，通过人工编辑把知名网站分门别类，让用户根据类别来查找网站，典型如雅虎、Hao123等:后者，让用户通过搜索关键词找到所需信息，解决了分类目录的有限覆盖问题，典型如谷歌、百度等。

实际上，这两种解决方案的思路并不新鲜，很大程度上可以分别对应图书馆的分类馆藏和百科全书的条目索引。

纵观整个历史长河，我们不难发现：信息环境是变化的，解决方案是具体的，但信息分发的需求和方式却是相通的。

它们都在回答一个问题——如何有效地连接人和信息。

推荐算法：熟悉的新朋友算法分发的出现和普遍应用，意味着人类开始运用机器大规模地解决信息分发问题，人类社会信息分发的动力从人力转向了部分自动化——从“人找信息”，到“信息找人”。

站在人类社会信息分发的长河中看，算法分发虽然是一个新鲜事物，但它的使命和根基却是熟悉的。

从这个切口去思考，不难回答为什么这个时代诞生了推荐算法：第一，新的信息环境和人类的信息需求动力，呼唤一种新的信息分发解决方案。

面对信息过载的环境和碎片化的信息消费场景，如何从大量信息中找到自己感兴趣的信息，是一件非常困难的事情。

作为重要工具的搜索引擎，可以部分满足人们的需求，但最适用于需求明确的场景。

如果用户无法准确描述自己的信息搜索需求，甚至对自己的需求都不充分了解呢？这意味着，我们需要一个能够主动根据我们的兴趣和需求来分发信息的方案。

早在1995年出版的《数字化生存》（Being Digital）中，尼古拉·尼葛洛庞帝便提出“我的日报”（The Daily Me），认为在线新闻将使受众主动选择自己感兴趣的内容，预言未来信息的个人化。

在当时，这种设想可能被认为是“白日做梦”。

因为个体之间自然有差异，而为了社会的总体效率，人们总是尽可能寻找信息的“公约数”。

随着技术的发展，推荐系统的出现给人类的信息分发带来了一种可能：人们不用每次都提供明确的需求，而是通过为不同个体的信息需求建模，从而主动推荐能够满足他们兴趣和需求的信息。

第二，信息技术的发展，为个性化推荐系统的出现提供了物质条件。

一方面，移动互联网发展，每个人都是一个终端，这使得信息的分发能够低成本定位到不同的个体用户。

另一方面，AI技术的成熟和硬件资源的进化，为个性化推荐提供了技术实现路径：机器学习模型的应用，深度学习的快速发展等，提供了有力的算法工具:而大规模分布式机器学习框架的出现、GPU对深度学习的加速能力得到普遍验证、专用深度学习芯片的出现（TPU、寒武纪），又提供了另一层保障。

1994 年美国明尼苏达大学GroupLens研究组推出第一个自动化推荐系统 GroupLens（1），提出了将协同过滤作为推荐系统的重要技术，也是最早的自动化协同过滤推荐系统之一。

1998年亚马逊（Amazon.com）上线了基于物品的协同过滤算法，将推荐系统推向服务千万级用户和处理百万级商品的规模，并能产生质量良好的推荐。

2006 年10月，北美****服务提供商 Netflix 开始举办著名的Netflix Prize推荐系统比赛。

参赛者如能将其推荐算法的预测准确度提升10%，可获得100万美元奖金。

参赛的研究人员提出了若干推荐算法，大大提高推荐准确度，极大地推动了推荐系统的发展。

2016年，YouTube发表论文（2），将深度神经网络应用推荐系统中，实现了从大规模可选的推荐内容中找到最有可能的推荐结果。

自第一个推荐系统诞生，至今已有二十多年。