Различия

Здесь показаны различия между выбранной ревизией и текущей версией данной страницы.

Ссылка на это сравнение

индексирование-сайта [2012/09/05 02:03]
master [Сканирование страниц]
индексирование-сайта [2012/09/23 03:39] (текущий)
Spinne [Сканирование страниц]
Строка 6: Строка 6:
  
 ==== Сканирование страниц ==== ==== Сканирование страниц ====
-Сканирование страниц осуществляют серверы сканирования, действующие по расписанию. На них запускаются процессы, называемые [[поисковый-робот|поисковыми роботами]] или ботами. Задача робота --- послать HTTP-запрос по заданной ссылке, получить документ и сохранить его. Также сохраняется HTTP-заголовок ответа для обработки исключительных ситуаций ([[ошибки сервера]], [[404-not-found|документ недоступен]], [[410-gone|документ удален]], [[перенаправление|документ перемещен]]). Сохраненные роботами страницы становятся в очередь на обработку.+Сканирование страниц осуществляют серверы сканирования, действующие по расписанию. На них запускаются процессы, называемые [[поисковый-робот|поисковыми роботами]] или ботами. Задача робота --- послать HTTP-запрос по заданной ссылке, получить документ и сохранить его. Также сохраняется HTTP-заголовок ответа для обработки исключительных ситуаций ([[ошибки сервера]], [[ошибки-клиента#not-found|документ недоступен]], [[ошибки-клиента#gone|документ удален]], [[перенаправление|документ перемещен]]). Сохраненные роботами страницы становятся в очередь на обработку.
 ==== Разбор страниц ==== ==== Разбор страниц ====
 Каждая просканированная страница имеет свой уникальный идентификатор в поисковой базе. Когда страница сканировуется в первый раз и попадает в обработку, ей присваивается идентификатор и ставится в соответствие URI страницы. Каждая просканированная страница имеет свой уникальный идентификатор в поисковой базе. Когда страница сканировуется в первый раз и попадает в обработку, ей присваивается идентификатор и ставится в соответствие URI страницы.
индексирование-сайта.txt · создано: 2010/08/02 17:15 — Zanuda · Последние изменения: 2012/09/23 03:39 — Spinne
Наверх
Driven by DokuWiki