Crawler

Ein Webcrawler ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert, indem der Links folgt. Webcrawler werden vor allem von Suchmaschinen zur Indexierung von Webseiten eingesetzt. Weitere Anwendungen sind das Sammeln von Web-Feeds, E-Mail-Adressen oder von anderen Informationen.

Glossarbeitrag teilen: