Installieren Sie Baidu Cloud Crawler auf Centos 7

Der Crawler läuft unter MySQL, Python 2.7 und Mysql-Python. Installieren Sie daher zuerst MySQL und MySQL-Python.

1. MySQL installieren
Abhängigkeiten installieren

 yum install libaio

Installieren von MySQL

 wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm yum localinstall mysql-community-release-el7-5.noarch.rpm yum install mysql-community-server

Starten Sie MySQL

 systemctl start mysqld

MySQL-Passwort festlegen

 mysql_secure_installation;

2. Firewall-Einstellungen <br />Iptables installieren

 yum install iptables-services

Öffnen Sie Port 3306

 vi /etc/sysconfig/iptables

Hinzufügen zu

 -A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 3306 -j ACCEPT -A RH-Firewall-1-INPUT -m state –state NEW -m udp -p udp –dport 3306 -j ACCEPT

Starten Sie iptables neu.

 service iptables restart

3. Installieren Sie MySQL-Python

 yum install MySQL-python

4. Programm einrichten

 wget https://github.com/x-spiders/baiduyun-spider/archive/master.zip unzip master.zip cd baiduyun-spider-master

Festlegen des Kontos und des Kennworts für die Verbindung mit der Datenbank

打開bin/spider.py ，修改DB_HOST、DB_PORT、DB_USER、DB_PASS

Erstmaliges Ausführen des Crawlers

 python bin/spider.py --seed-user

Ausführen des Crawlers

 python bin/spider.py

Quellcode: https://geekspider.org/senior/215.html