프로그래밍/Python

파이썬 크롤링 접속 차단됐을 때(requests, User-Agent) 크롤링 차단 우회하기

abfc 2021. 6. 4.
반응형

 

 

 

서버에서 403에러를 응답하여 크롤링이 불가능한 서버는 요청할때 requests header에 user-agent를 지정해줘야 합니다.

 

import requests

url = '크롤링할 링크'

#User-Agent값으로 유저 정보 입력
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36'}
res = requests.get(url, headers=headers)

 

유저 정보는 아래의 링크에서 확인하실 수 있습니다.

http://www.useragentstring.com/

 

UserAgentString.com - unknown version

 

www.useragentstring.com

 

공감과 댓글은 작성자에게 많은 힘이됩니다. 감사합니다😄

반응형

댓글

💲 추천 글