Wie finden Suchmaschinen neue Webseiten?

Suchmaschinen setzen extra entwickelte Programme ein, um das Internet nach neuen Seiten zu durchsuchen. Man spricht von "Robots - Roboter", "Spiders -Spinnen" und "Crawlers - Umwälzer". Diese Spezialprogramme haben einzig und alleine die Aufgabe, neue Seiten zu finden und zu indexieren. Im Klartext heißt das, die einzelnen Webseiten in einer Datenbank aufnehmen und sammeln. Sie starten dazu auf einer Website (meistens der Startseite), merken sich alle dort vorhandenen Links und folgen diesen dann.