Glossar

Ein (Web)Crawler ist ein Programm oder Bot, das automatisch das Internet durchsucht, Webseiten analysiert und Informationen sammelt. Als Beispiel dienen Suchmaschinen wie Google - sie nutzen Crawler, um Seiten zu indexieren und in den Suchergebnissen anzuzeigen. Weiterhin werden Crawler oft genutzt, um KI zu trainieren, insbesondere für Sprachmodelle LLM oder Suchmaschinen. Sie sammeln große Mengen an Texten, Bildern oder anderen Inhalten aus dem Internet und Social Media, die dann als Datenbasis für maschinelles Lernen dienen. Dabei müsste beachtet werden, Urheberrechte und Datenschutz zu respektieren, aber ist es immer der Fall?