Η δημοσίευση του Λευτέρη:
Μηχανές αναζήτησης, Youtube και αλυσίδες...
μου θύμισε κάτι που έπρεπε να είχα είδα ανεβάσει.
Και τι;
Μα για τοπικές Μηχανές Αναζήτησης. Και όταν λέω τοπικές εννοώ αυτές που έχουμε στον υπολογιστή μας, δεν ανήκουν σε κάποιον τρίτο (πχ: Google, Microsoft κλπ) και λειτουργούν με τη μέθοδο p2p.
Θα αρχίσω από την YaCy.
Τι είναι η YaCy
Πρόκειται μια αποκεντρωμένη, peer-to-peer (P2P) μηχανή αναζήτησης ανοιχτού κώδικα η οποία σε αντίθεση με τις παραδοσιακές μηχανές αναζήτησης που βασίζονται σε κεντρικούς διακομιστές βασίζεται σε ένα κατανεμημένο δίκτυο κόμβων (peers). Δηλαδή, ο κάθε χρήστης που τρέχει την εφαρμογή γίνεται ταυτόχρονα και ένας αυτόνομος «κόμβος» αναζήτησης και ευρετηρίασης, συνεισφέροντας αλλά και αντλώντας δεδομένα από ένα παγκόσμιο, συλλογικό ευρετήριο.
Αυτό σημαίνει ότι έτσι διατηρούμε τον απόλυτο έλεγχο των δεδομένων μας αφού η αναζήτηση και η ευρετηρίαση γίνονται είτε αποκλειστικά τοπικά στον δικό μας υπολογιστή είτε συνεργατικά σε ένα δίκτυο ισότιμων χρηστών (P2P), μακριά από τα αδιάκριτα βλέμματα και τα μονοπώλια των Big Tech.
Δεν υπάρχει κάποιος καμία εταιρεία η οποιαδήποτε τρίτη υποδομή πίσω από το YaCy που να αποφασίζει ποια αποτελέσματα θα λογοκριθούν, ποια θα θαφτούν στα χαμηλότερα αποτελέσματα ή ποια θα προωθηθούν βάσει διαφημιστικών αλγορίθμων.
Ο δε κώδικάς του είναι ανοιχτός και ελεύθερα ελέγξιμος από την κοινότητα, γεγονός που αποκλείει κρυφούς μηχανισμούς παρακολούθησης (tracking) ή εμπορικής εκμετάλλευσης των δεδομένων περιήγησης.
Μιλάμε δηλαδή, για μια Μηχανή Αναζήτησης απόλυτα Decentralization.
Είναι διαθέσιμη για Linux, Windows, MacOS.
Ιστοσελίδα - Download - Github
Διαδικασία Ρύθμισης του YaCy
Για ν το κάνουμε να δουλέψει σωστά, με ασφάλεια και πλήρη ιδιωτικότητα χρειάζονται ορισμένες ρυθμίσεις.
Ο οδηγός που ακολουθεί καλύπτει τη διαδικασία από το μηδέν: από την προετοιμασία των αρχείων στο τερματικό μέχρι τις ακριβείς ρυθμίσεις στο γραφικό περιβάλλον (GUI) για να πάρεις τη μέγιστη δυνατή κάλυψη και ποιότητα στα αποτελέσματα αναζήτησης.
Κάποια τα δίνω μέσω bash (τερματικού) για λόγους συντομίας.
ΜΕΡΟΣ Α΄: Προετοιμασία
Πριν ξεκινήσουμε, θα πρέπει, αν δεν την έχουμε ήδη, να εγκαταστήσουμε την Java στο σύστημά μας. Σχεδόν όλες οι διανομές την έχουν στους Διαχειριστές Λογισμικού άρα, η εγκατάστασή της γίνεται με ένα κλικ.
Εναλλακτικά και για συντομία, για Ubuntu based διανομές, δώστε τις ακόλουθες εντολές:
sudo apt update
sudo apt install openjdk-17-jre
και κατόπιν επιβεβαιώστε ότι έχετε την έκδοση 17 και πάνω:
java -version
Συνεχίζουμε με τη ρύθμιση του YaCy:
1. Δικαιώματα Εκτέλεσης Scripts
Το κατεβάζουμε, το αποσυμπιέζουμε και το βάζουμε σε έναν φάκελο (προσωπικά, έχω δημιουργήσει έναν φάκελο «Apps»). Κατόπιν, το κάνουμε Εκτελέσιμο (δεξί κλικ επάνω του > Ιδιότητες> Δικαιώματα κι επιλέγουμε να τρέχει ως πρόγραμμα).
Εναλλακτικά, αν θέλετε, μέσω τερματικού:
cd /διαδρομή/του/φακέλου/yacy
chmod +x startYACY.sh bin/*.sh
2. Αναβάθμιση Μνήμης Java (JVM Heap)
Το YaCy, όπως είπαμε, είναι Java εφαρμογή και η προεπιλεγμένη μνήμη (600MB) δεν αρκεί για σοβαρό indexing και ποιοτικά αποτελέσματα.
Ανοίξτε το αρχείο εκκίνησης:
nano startYACY.sh
Εντοπίστε τη γραμμή ρύθμισης μνήμης και αλλάξτε την ώστε να δώσετε τουλάχιστον 2GB (-Xmx2G):
JAVA_ARGS="-Xmx2G $JAVA_ARGS";
Αποθηκεύστε και κλείσε τον κειμενογράφο (Ctrl + O, Enter, Ctrl + X).
ΣΗΜΕΙΩΣΗ: Αν σας μπερδεύει ο nano, ανοίξτε το αρχείο με τον απλό κειμενογράφο (δεξί κλικ στο αρχείο startYACY.sh και επιλέγετε Εμφάνιση).
3. Αλλαγή Κωδικού Διαχειριστή (Admin Password)
Το YaCy διατηρεί σταθερό όνομα χρήστη διαχειριστή το admin`. Για να ορίσετε έναν ισχυρό κωδικό πρόσβασης ασφαλείας, εκτελέστε από το τερματικό το αντίστοιχό script δίνοντας τον κωδικό σας:
./bin/passwd.sh admin Ο_ΚΩΔΙΚΟΣ_ΣΟΥ
4. Πρώτη Εκκίνηση και Είσοδος
Ξεκίναμε την υπηρεσία εκτελώντας το script:
./startYACY.sh
Ανοίξτε τον browser σας και πληκτρολογήστε τη διεύθυνση: http://localhost:8090 (λογικά, θα ανοίξει αυτόματα μόλις το εκτελέσετε)
Συνδεθείτε χρησιμοποιώντας το προεπιλεγμένο όνομα χρήστη admin και τον κωδικό που μόλις βάλατε.
ΜΕΡΟΣ B΄: Ρυθμίσεις και Βελτιστοποίηση μέσω του Web GUI
Από εδώ και πέρα, όλες οι κρίσιμες ρυθμίσεις γίνονται μέσα από το γραφικό περιβάλλον διαχείρισης του YaCy πηγαίνοντας στις αντίστοιχες καρτέλες, πατώντας το κουμπάκι Andimistration επάνω δεξιά.
1. Ρύθμιση Δικτύου & P2P (Network / Peer Connectivity)
Εδώ θέλουμε να διασφαλίσουμε ότι η μηχανή δεν είναι αποκομμένη, ώστε να έχουμε πλούσια αποτελέσματα.
Στις ρυθμίσεις δικτύου του YaCy, βεβαιωνόμαστε ότι οι επιλογές συμμετοχής στο παγκόσμιο δίκτυο (Peer Collaboration και Remote Indexing) είναι ενεργές (checked).
Χρειάζεται να γίνει επειδή αν το αφήσουμε σε απομονωμένη λειτουργία (standalone), η μηχανή θα ψάχνει αποκλειστικά ό,τι κατεβάσαμε τοπικά, περιορίζοντας δραστικά την εμβέλεια των αναζητήσεων.
2. Βελτιστοποίηση Crawler (Expert Crawl Start)
Όταν θέλουμε να προσθέσουμε μια νέα πηγή για σάρωση, πάμε στο μενού του Crawler (Crawl Start -> Expert) και προσάρμόζουμε τις παραμέτρους ως εξής:
Load Filter on URL origin: Ρύθμισέ το σε Same Domain ή Same Sub-domain.
Αυτό αποτρέπει τον crawler από το να «ξεφεύγει» σε άσχετα εξωτερικά links και να χαλάει την ποιότητα του τοπικού ευρετηρίου.
Load Filter on IPs: Το αφήνουμε ενεργό για λόγους ασφαλείας (αποκλεισμός τοπικών/ιδιωτικών διευθύνσεων).
Crawling Depth (Βάθος): Αυτό θα το ανεβάσουμε στο στο 3 ή 4 (αντί για το προεπιλεγμένο 1) επειδή έτσι ο crawler θα μπαίνει βαθύτερα στις υποσελίδες και τα μενού ενός ιστότοπου, εντοπίζοντας ουσιαστικό περιεχόμενο και όχι μόνο την αρχική σελίδα.
Maximum Pages per Domain: Εδώ θα ορίσουμε ένα ασφαλές όριο ανάλογα με το μέγεθος του στόχου (π.χ. 500 έως 1000 σελίδες).
3. Μαζική Τροφοδοσία με Sitemaps (Αντί για τυχαία URLs)
Στόχος: Αποφυγή άσκοπης σάρωσης και άμεση τροφοδοσία με έγκυρα δεδομένα.
Τι κάνουμε: Αντί να βάζουμε τυχαίες διευθύνσεις, εντοπίστε το επίσημο αρχείο sitemap.xml των ιστότοπων που σας ενδιαφέρουν και δώστε αυτόν τον σύνδεσμο ως σημείο εκκίνησης στον crawler.
Έτσι ο crawler διαβάζει το sitemap αστραπιαία, αποθηκεύοντας χιλιάδες έγκυρες σελίδες με απόλυτη ακρίβεια και ελάχιστη κατανάλωση πόρων.
Αυτές είναι οι βασικές ρυθμίσεις και πλέον το YaCy θα ανοίγει σε μια καρτέλα στον browser σας. Μπορείτε, να το βάλετε και ως συντόμευση.
Για οποιοδήποτε απορία ή πρόβλημα που θα συναντήσετε ρωτήστε.
Συνοψίζοντας, το YaCy πρόκειται για μια αξιοπρεπή Μηχανή Αναζήτησης, αν στηθεί σωστά, αλλά σίγουρα δεν είναι η ιδανική.
Αν υπάρχουν καλύτερες προτάσσεις, δίνοντας πάντα έμφαση στην ιδιωτικότητα;
Ναι, υπάρχουν και θα επανέλθουμε σύντομα.