Cookie

Web-Browser benutzen Cookies für das Sammeln von Informationen. Cookies speichern Präferenzen und Verhalten. Cookies werden auch beim Crawling eingesetzt indem man mit ihnen Nutzer simuliert (e.g. login auf gewisse Bereiche, Ansteuerung gewisser Unterbereiche von Websites, Sichtung von Inhalten, etc.). Der eingesetzte Bot (e.g. Google-Bot) muss also mit Cookies umgehen können, damit Inhalte gecrawlt werden können, die nur mit dem Einsatz von Cookies zur Verfügung stehen. In Zukunft (ab ca. 2024) werden Cookies nicht mehr erlaubt.