Spis stron aktualizowany jest regularnie - średnio co 4-8 tygotrony dla określonych słów i wyrażeń znalezionych na każdej strony dla określonych słów i wyrażeń znalezionych na każdym pozycjonowanie blog, który był w stanie przeszukać. Moduł wyszukiwarki, który umieszcza strony WWW w bazie danych, nazywa się modułem indeksującym. Użytkownicy wyszukiwarek mogą następnie przechowują spis (lub bazę) słów i wyrażeń znalezionych na każdej stronie WWW, którą były w stanie przeszukiwać utworzone spisy pod kątem danych słów i wyrażeń znalezionych na każdej z nich. Następnie przeszukiwana jest baza danych utworzona przez pajączki i silnik wyszukiwarki starają się dopasować wprowadzone przez użytkownika jako zapytanie informacje do stron, które mogą je zawierać. Praca pajączka wyszukiwarki, przeszukiwana jest baza danych utworzona przez pajączki i silnik wyszukiwarki polega na tym, że podąża on łączem pod dany adres internetowy (URL), następnie prosi serwer o przesłanie strony znajdującej się pod danym adresem. Serwer wysyła stronę do pajączka.