Los Spiders son robots automáticos que utilizan la mayoría de los grandes buscadores internacionales y conocidos para indexar los sitios en sus motores de búsqueda. Los mismos realizan las siguientes acciones:
- Recorren las páginas recopilando información sobre los contenidos de estas. Cuando se busca una información en los motores, ellos consultan su base de datos y presentan resultados clasificados por su relevancia. De las webs, los buscadores pueden almacenar desde la página de entrada, a todas las páginas de la web.
- Si consideran que una web es importante para el usuario, tienden a registrarlas todas. Si no la consideran importante, sólo almacenan una o más páginas.
- Cada cierto tiempo, los motores revisan las webs, para actualizar los contenidos de su base de datos, lo que garantiza que los resultados de la búsqueda estén siempre actualizados.
- Los spiders tienen una colección de programas simples y potentes con diferentes cometidos. Se suelen dividir en tres partes. Los programas que exploran la red -spiders-, los que construyen la base de datos y los que utiliza el usuario, el programa que explora la base de datos.
- Algunos de los buscadores que utilizan Spiders: Google, MSN Search, AltaVista, Hotbot.