Меня иногда спрашивают, как работает Яндекс?

Ниже привожу самый понятный ответ на этот вопрос.
Нужно понимать, что это самый базис.

Поисковая система индексирует все сайты при условии, что на них есть внешние ссылки и у сайтов нет внутренних проблем с индексацией.

Индексируется следующие составляющие любой страницы сайта:

• текст страницы,
• заголовок (title),
• ключевые слова документа (keywords),
• описание (description),
• атрибуты и описания alt для изображений.

Какие страницы индексируются, а какие нет?

1. Индексируются все страницы сайта, к которым есть ссылки на сайте или на внешних ресурсах (других сайтах).
2. Не индексируются страницы и каталоги, указанные в файле robots.txt

А ещё есть:

• прямой поиск,
• поиск «по смыслу»,
• различные математические модели.

Но про это клиентам знать не нужно.
Если интересно, можно почитать про релевантность.