web-dev-qa-db-de.com

Python-Anfragen. 403 Verboten

Ich musste eine site analysieren, bekam aber eine Fehlermeldung 403 Forbidden .

url = 'http://worldagnetwork.com/'
result = requests.get(url)
print(result.content.decode())

Seine Ausgabe:

<html>
<head><title>403 Forbidden</title></head>
<body bgcolor="white">
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx</center>
</body>
</html>

Bitte sagen Sie, was das Problem ist.

pythonpython-requests
31
Толкачёв Иван

Es scheint, dass die Seite GET-Anforderungen ablehnt, die keinen User-Agent identifizieren. Ich habe die Seite mit einem Browser (Chrome) aufgerufen und den User-Agent-Header der GET-Anforderung kopiert (siehe Registerkarte "Netzwerk" der Entwicklerwerkzeuge):

import requests
url = 'http://worldagnetwork.com/'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}
result = requests.get(url, headers=headers)
print(result.content.decode())

# <!doctype html>
# <!--[if lt IE 7 ]><html class="no-js ie ie6" lang="en"> <![endif]-->
# <!--[if IE 7 ]><html class="no-js ie ie7" lang="en"> <![endif]-->
# <!--[if IE 8 ]><html class="no-js ie ie8" lang="en"> <![endif]-->
# <!--[if (gte IE 9)|!(IE)]><!--><html class="no-js" lang="en"> <!--<![endif]-->
# ...
84
Alberto Garcia-Raboso

Fügen Sie einfach Alberto Antwort hinzu:

Wenn Sie immer noch ein 403 Forbidden nach dem Hinzufügen eines user-agent, müssen Sie möglicherweise weitere Header hinzufügen, z. B. referer:

headers = {
    'User-Agent': '...',
    'referer': 'https://...'
}

Die Überschriften finden Sie im Network > Headers > Request Headers der Entwicklertools. (Drücken Sie F12 um es umzuschalten.)

1
Hansimov

Wenn Sie Eigentümer/Administrator des Servers sind und die akzeptierte Lösung für Sie nicht funktioniert hat, versuchen Sie Deaktivieren des CSRF-Schutzes (Verknüpfung zu einer Antwort SO) . 

Ich verwende Spring (Java). Daher erfordert das Setup, dass Sie eine SecurityConfig.Java-Datei erstellen, die Folgendes enthält:

@Configuration
@EnableWebSecurity
public class SecurityConfig extends WebSecurityConfigurerAdapter {
    @Override
    protected void configure (HttpSecurity http) throws Exception {
        http.csrf().disable();
    }
    // ...
}
0
Casper