Новости сети интернет: Оптимизация, Социальные сети и полезные советы

Мы не будем останавливаться на частностях типа учета геозависимости запроса, но сосредоточимся на базовой (и достаточно условно описанной) архитектуре поиска. Яндекс использует пирамидальный поиск: сначала из всего гигантского множества документов выбирается ограниченное количество соответствующих базовым критериям – «кворум». На этом этапе применяется отсев по порогу содержания простейших ключевых слов (термов). Поскольку документов в индексе очень много, полученная выборка тоже может быть чрезмерно широкой для полной формулы Матрикснета – поэтому ее нужно сократить до размера, который эта формула может «переварить» в установленное для обработки одного запроса время. Для этого проводится анализ по статическим параметрам (так называемый «фаст ранк»): стандартный вес, траст и так далее. Лучшие результаты передаются на ранжирование полной формулой. Итак, сначала проводятся сравнительно простые вычисления с огромным количеством документов, а затем – сложные вычисления с небольшим количеством заведомо подходящих и уже неплохих. Конечно, выдача по наиболее распространенным запросам кэшируется серверами среднего уровня, поэтому каждый раз обсчет не производится (хотя постоянное пополнение индекса новыми документами вызывает необходимость периодического перезапуска всей последовательности итераций). Итак, ограниченное количество документов, которые нужно отранжировать, передается на вход Матрикснета. Алгоритм имеет структуру дерева решений, после прохождения которого получается матрица документов с присвоенными «числовыми значениями релевантности». Точнее, для каждого документа необходимо пройти по тысячам деревьев – и ноу-хау Яндекса заключается в балансировке (в математическом смысле), позволяющей очень заметно ускорить вычисления.