Πίνακας περιεχομένων:
Ορισμός - Τι σημαίνει Crawler στο Web;
Ένα ανιχνευτή ιστού είναι ένα bot Internet που βοηθά στην ευρετηρίαση στο Web. Ανιχνεύουν μια σελίδα κάθε φορά μέσω ενός ιστότοπου, μέχρις ότου όλες οι σελίδες έχουν ευρετηριαστεί. Οι ανιχνευτές ιστού βοηθούν στη συλλογή πληροφοριών σχετικά με έναν ιστότοπο και τους συνδέσμους που σχετίζονται με αυτόν και επίσης βοηθούν στην επικύρωση του κώδικα HTML και των υπερσυνδέσμων.
Ένα ανιχνευτή ιστού είναι επίσης γνωστό ως αράχνη ιστού, αυτόματη ευρετηρίαση ή απλά crawler.
Η Techopedia εξηγεί το Web Crawler
Οι ανιχνευτές ιστού συλλέγουν πληροφορίες όπως η διεύθυνση URL του ιστότοπου, οι πληροφορίες μετα-ετικέτας, το περιεχόμενο της ιστοσελίδας, οι σύνδεσμοι στην ιστοσελίδα και οι προορισμοί που οδηγούν από αυτούς τους συνδέσμους, ο τίτλος της ιστοσελίδας και κάθε άλλη σχετική πληροφορία. Παρακολουθούν τις διευθύνσεις URL που έχουν ήδη ληφθεί για να αποφύγουν την εκ νέου λήψη της ίδιας σελίδας. Ένας συνδυασμός πολιτικών όπως πολιτική επανελέγχου, πολιτική επιλογής, πολιτική παραλληλισμού και πολιτική ευγένειας καθορίζει τη συμπεριφορά του ανιχνευτή ιστού. Υπάρχουν πολλές προκλήσεις για τα προγράμματα ανίχνευσης ιστού, δηλαδή το μεγάλο και συνεχώς εξελισσόμενο World Wide Web, οι επιλογές επιλογής περιεχομένου, οι κοινωνικές υποχρεώσεις και η αντιμετώπιση αντιπάλων.
Οι ανιχνευτές ιστού είναι τα βασικά συστατικά των μηχανών αναζήτησης Ιστού και των συστημάτων που εξετάζουν ιστοσελίδες. Βοηθούν στην ευρετηρίαση των εγγραφών στο Web και επιτρέπουν στους χρήστες να στέλνουν ερωτήματα κατά του ευρετηρίου και επίσης να παρέχουν τις ιστοσελίδες που ταιριάζουν με τα ερωτήματα. Μια άλλη χρήση των ανιχνευτών ιστού είναι στην αρχειοθέτηση του ιστού, το οποίο περιλαμβάνει μεγάλα σύνολα ιστοσελίδων που συλλέγονται και αρχειοθετούνται περιοδικά. Οι ανιχνευτές ιστού χρησιμοποιούνται επίσης στην εξόρυξη δεδομένων, όπου οι σελίδες αναλύονται για διαφορετικές ιδιότητες όπως στατιστικές και στη συνέχεια πραγματοποιούνται αναλύσεις δεδομένων σε αυτές.
