프로그래밍/Python
파이썬 크롤링 접속 차단됐을 때(requests, User-Agent) 크롤링 차단 우회하기
dev109
2021. 6. 4. 13:15
반응형
서버에서 403에러를 응답하여 크롤링이 불가능한 서버는 요청할때 requests header에 user-agent를 지정해줘야 합니다.
import requests
url = '크롤링할 링크'
#User-Agent값으로 유저 정보 입력
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36'}
res = requests.get(url, headers=headers)
유저 정보는 아래의 링크에서 확인하실 수 있습니다.
http://www.useragentstring.com/
UserAgentString.com - unknown version
www.useragentstring.com
공감과 댓글은 작성자에게 많은 힘이됩니다. 감사합니다😄
반응형