知乎热榜是如何在 60 秒内完成一次全网扫描的?
一、热源接入
知乎热榜的第一层是热源接入层。调度器以分钟级频率向多个公开热源发起请求, 把标题、初始热度、时间戳等字段统一写入消息队列。这一层的目标只有一个:不漏掉任何一个正在起势的话题。
二、去重与聚类
同一件事在不同平台往往有不同表述。系统会对标题做分词与语义向量化处理, 再通过聚类算法把描述同一事件的条目合并成一个话题簇,避免榜单被同一件事反复刷屏。
三、热度算法
合并之后进入热度打分环节。热度并不等于绝对讨论量,而是由讨论增量、互动深度、 传播速度和时效衰减四个维度加权得出。这样做的好处是,一个刚冒头但讨论质量很高的话题, 也能获得靠前的排位。
四、人工复核
算法负责排序,人工负责把关。编辑团队会对进入榜单前列的话题做一轮快速复核, 剔除明显失实、标题党以及不适宜公开传播的内容,保证榜单的可读性与可信度。
五、榜单分发
最后一步是分发。同一份榜单会根据用户订阅的频道做个性化裁剪, 再通过网页、推送与邮件早报三个渠道触达。整个链路从热源抓取到用户可见,通常不超过 60 秒。