Installieren Sie die Online-Suchmaschine für Romane Owllook in CentOS 7

1. Einführung in Owllook

Owlook ist eine vertikale, neuartige Suchmaschine, die auf anderen Suchmaschinen aufbaut. Owlook zielt darauf ab, das Lesen einfacher und eleganter zu machen, sodass jeder Leser ein komfortables Leseerlebnis hat, wie z. B. Buchsuche, Lesen, Sammeln, Weiterverfolgen, Empfehlen und andere Funktionen.

owllook verwendet MongoDB, um grundlegende Informationen zu speichern, die während der Benutzernutzung generiert werden, z. B. Registrierungsinformationen, neuartige Suchinformationen, neuartige Sammlungsdaten usw. Für einige notwendige Caches wird Redis zur Cache-Verarbeitung verwendet, z. B. neuartiger Cache und Sitzungscache. Beachten Sie, dass für eingeschränkte Daten alle innerhalb von 24 Stunden gelöscht werden.

Für Romane auf verschiedenen Websites gelten unterschiedliche Seitenregeln. Ich hoffe, sie nach der Codeanalyse einheitlich anzeigen zu können, was praktisch und schön ist, anstatt einfach zur entsprechenden Website zu springen. Ein frisches und prägnantes Leseerlebnis ist das Wichtigste.

Derzeit verwenden wir Suchmaschinen, um Ergebnisse direkt abzurufen. Ich versuche, eine kleine Anzahl von Regeln zu schreiben, um die Analyse abzuschließen. Einzelheiten finden Sie in der Regeldefinition. Wenn Sie auf eine neue Website stoßen, die Ihnen gefällt, können Sie auch Ihre eigene Analyse hinzufügen. owllook analysiert derzeit mehr als 200 Websites und mehr als 50 Verfolgungswebsites.

Es gibt einige Stellen, an denen Crawler benötigt werden, z. B. Rankings, einige Buchinformationen usw. Ich möchte zum Schreiben kein schwergewichtiges Crawler-Framework verwenden, daher habe ich hierfür ein sehr leichtes Crawler-Framework in owllook geschrieben, siehe ruia

2. Installation von Owllook auf einem CentOS 7-System

Aktualisieren Sie zuerst das System:

 yum -y aktualisieren

Installieren Sie das EPEL-Repository:

 yum -y install epel - freigeben

Installieren Sie Redis und einige grundlegende Komponenten:

 yum -y installiere Redis Git Curl Screen

Führen Sie nun Redis aus und stellen Sie es so ein, dass es beim Booten automatisch gestartet wird:

 systemctl starte redis
systemctl aktiviere Redis

Erstellen Sie eine neue Repo-Quelle zur Installation von MongoDB:

 vi /etc/yum.repos.d/mongodb-org-4.0.repo

Schreiben:

 [ mongodb - org - 4.0 ]
Name = MongoDB -Repository
Basis-URL = https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/4.0/x86_64/
gpgcheck = 1
aktiviert = 1
gpgkey = https://www.mongodb.org/static/pgp/server-4.0.asc

Dann installieren Sie es direkt mit yum:

 yum -y installiere mongodb - org

Starten Sie MongoDB und richten Sie es so ein, dass es beim Booten gestartet wird:

 systemctl start mongod
systemctl aktivieren mongod

Installieren Sie die zum Kompilieren und Installieren von Python3 erforderlichen Abhängigkeiten:

 yum - y installiere gcc make zlib zlib - entwickeln readline readline - entwickeln readline - statisch openssl openssl - entwickeln openssl - statisch sqlite - entwickeln bzip2 - entwickeln bzip2 - libs libffi - entwickeln

Führen Sie das folgende Skript aus, um pyenv zu installieren:

 curl -L https://github.com/pyenv/pyenv-installer/raw/master/bin/pyenv-installer | bash

So bearbeiten Sie die Kontokonfigurationsdatei:

 vi ~/ .bash_profile

Fügen Sie die folgenden Umgebungsvariablen hinzu:

 export PATH = "/root/.pyenv/bin:$PATH"
eval "$(pyenv init -)"
Auswertung "$(pyenv virtualenv-init -)"

Damit es wirksam ist:

 Quelle ~/ .bash_profile

Installieren Sie python3.6.7 mit pyenv:

 pyenv installieren 3.6.7

Erstellen Sie nach Abschluss eine virtuelle Betriebsumgebung 3.6.7:

 pyenv virtualenv 3.6.7 owllook

Merken Sie sich Ihren Umgebungspfad wie folgt:

 /root/.pyenv/versions/3.6.7/envs/owllook/bin/python3

Nun ziehen Sie das Projekt und gehen in das Projektverzeichnis:

 Git -Klon https://github.com/howie6879/owllook
CD Eulenlook

Stellen Sie die Python-Umgebung des Projektverzeichnisses auf die Umgebung ein, die wir gerade erstellt haben:

 pyenv lokaler Eulenblick

Installieren Sie pipenv mit pip:

 pip installieren pipenv

Verwenden Sie dann pipenv, um die für das Projekt erforderlichen Abhängigkeiten zu installieren:

 pipenv install --python / root / .pyenv / Versionen / 3.6.7 / envs / owllook / bin / python3

Die Abhängigkeitsinstallation ist wie in der Abbildung dargestellt abgeschlossen. Bitte stellen Sie sicher, dass dabei keine Fehler auftreten:

Geben Sie nach Abschluss das Owllook-Verzeichnis ein:

 CD Eulenlook

Bearbeiten Sie die Konfigurationsdatei:

 vi konfiguration / konfiguration . py

Suchen Sie den folgenden Code:

 VAL_HOST = os.getenv ( 'VAL_HOST' , ' true ' )

Zu:

 VAL_HOST = os.getenv ( 'VAL_HOST' , ' false ' )

Erstellen Sie nun mit screen eine neue Shell:

 Bildschirm - Eulenlook

Führen Sie das Programm in einer neuen Shell aus:

 Python-Server . py

Wenn nichts Unerwartetes passiert, sehen Sie eine Anzeige ähnlich der folgenden, was bedeutet, dass das Projekt läuft:

Nun installieren wir Nginx für den Reverse-Proxy:

 yum -y installiere nginx

Erstellen Sie eine neue Nginx-Site-Konfigurationsdatei:

 vi /etc/nginx/conf.d/book.conf

Schreiben:

 Server {
    hören 80 ;
    Servername Beispiel . com www . Beispiel . com ;

Standort / {
    proxy_set_header X - Echte IP $remote_addr ;
    proxy_set_header X – Weitergeleitet – Für $proxy_add_x_forwarded_for ;
    proxy_set_header X – Weitergeleitet – Proto $scheme ;
    Proxy_set_header Host $http_host ;
    proxy_set_header X - NginX - Proxy true ;

    Proxy-Passwort http://0.0.0.0:8001 ;
    Proxy_Redirect aus ;

    Proxy_http_Version 1.1 ;
    Proxy_set_header -Upgrade $http_upgrade ;
    proxy_set_header Verbindung "Upgrade" ;
    }
}

Starten Sie Nginx neu:

 systemctl startet nginx neu

Deaktivieren Sie Firewall und SElinux:

 systemctl stoppe Firewalld . Dienst
systemctl deaktiviere Firewalld.service
vi / etc / selinux / config
SELINUX = deaktiviert
0​

Öffnen Sie nun den Domänennamen Ihrer Site und Sie sollten normal auf dieses Programm zugreifen können:

Bestenliste anzeigen:

Führen Sie spider_console.py aus:

 CD Eulenlook / Eulenlook / Spinnen

Erstellen Sie dann mit screen eine neue Shell:

 Bildschirm - S Spider_Konsole

In einer neuen Shell ausführen:

 python spider_console.py

Owlook-Projektadresse: https://github.com/howie6879/owllook

Das vollständige Installationstutorial wurde von folgender Adresse heruntergeladen: https://lala.im/4538.html