索引

首页 标签 索引
# 索引 #
关注
66561内容
08 | 索引构建:搜索引擎如何为万亿级别网站生成索引?
针对超大规模数据,如搜索引擎需处理万亿级网页,倒排索引远超内存容量。为此,工业界采用分治与多路归并思想:先将文档集拆分为小块,在内存中为每块构建倒排索引并写入磁盘临时文件;随后通过多路归并合并临时文件,生成全局有序的最终倒排文件。该过程类似MapReduce框架,支持分布式加速。检索时,优先将词典加载至内存,用哈希表或B+树快速定位关键词,再从磁盘读取对应posting list。对过长的posting list,则采用分层索引(如跳表)或缓存机制(如LRU),仅加载必要数据块,减少IO开销,提升效率。
12 | 非精准 Top K 检索:如何给检索结果的排序过程装上加速器?
本文介绍了非精准Top K检索的优化思路与实现方法,通过简化打分机制提升检索效率。重点讲解了三种加速技术:基于静态质量得分排序截断、胜者表利用词频打分、以及分层索引的两层检索策略。这些方法将计算前置至离线阶段,在线仅做快速截断,大幅降低开销。结合精准排序的两阶段架构,广泛应用于搜索与推荐系统,实现高效召回与精度平衡。
18 | 搜索引擎:输入搜索词以后,搜索引擎是怎么工作的?
搜索引擎通过爬虫抓取网页,经索引系统处理生成倒排索引,并在检索系统中结合分词、纠错、推荐等技术,利用位置信息和最小窗口排序,精准返回用户所需结果,实现高效搜索。
特别加餐 | 倒排检索加速(一):工业界如何利用跳表、哈希表、位图进行加速?
本文深入解析倒排索引中求交集的三大加速技术:跳表、哈希表与位图,并介绍工业级优化方案Roaring Bitmap。通过组合基础数据结构,实现高效检索,揭示复杂系统背后的简洁原理。
09 | 索引更新:刚发布的文章就能被搜到,这是怎么做到的?
本文讲解工业界如何高效更新倒排索引。针对小规模索引,采用Double Buffer机制实现无锁更新;对于大规模索引,则使用全量索引结合增量索引方案,并通过完全重建、再合并或滚动合并等方式处理增量数据,兼顾性能与资源开销。
10 | 索引拆分:大规模检索系统如何使用分布式技术加速检索?
在大规模检索系统中,分布式技术通过拆分倒排索引提升性能。基于文档的水平拆分将数据随机分片,各服务器并行处理,降低单次查询耗时,且易于扩展与维护;而基于关键词的垂直拆分虽减少请求复制,但易引发负载不均与运维复杂。工业界普遍采用文档拆分,兼顾效率与可维护性。
14 | 空间检索(下):「查找最近的加油站」和「查找附近的人」有何不同?
本文探讨了动态范围内“查找最近的k个目标”问题,如导航找加油站。针对查询范围不固定场景,提出利用四叉树、非满四叉树和前缀树优化检索效率与存储空间。通过树形结构实现快速范围扩展,避免重复查询,提升性能。
19 | 广告系统:广告引擎如何做到在 0.1s 内返回广告信息?
广告系统是互联网核心营收支柱,支撑Google、Facebook等巨头超80%收入。本文详解其高性能引擎架构:通过标签过滤、树形分片、向量检索与非精准打分等技术,在0.1秒内完成百万级广告实时召回与排序,实现千人千面精准投放。
15 | 最近邻检索(上):如何用局部敏感哈希快速过滤相似文章?
在搜索引擎与推荐系统中,相似文章去重至关重要。通过向量空间模型将文档转为高维向量,利用SimHash等局部敏感哈希技术生成紧凑指纹,结合海明距离与抽屉原理分段索引,可高效近似检索相似内容,避免重复展示,提升用户体验。该方法广泛应用于网页去重、图像识别等领域。
16 | 最近邻检索(下):如何用乘积量化实现「拍照识花」功能?
随着AI发展,以图搜图、拍图识物等应用日益普及,其核心是高效图片检索技术。本文深入解析如何通过聚类算法(如K-Means)与乘积量化结合倒排索引,实现高维图像特征向量的快速近似最近邻搜索,在降低存储开销的同时提升检索效率,广泛应用于图像搜索、推荐系统等领域。
免费试用