requests 모듈로 스크랩(크롤링 할때) 웹페이지 접속은 되는데, 503 error(에러) 뜰때

웹페이지 접속은 되는데, 503 에러가 계속 뜰때

ex). remoteok.io

그 페이지에서 스크랩 방지를 걸어놓은 것이다

해결방법

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36',}
r = requests.post(url, headers=headers)
r.raise_for_status()

def export_remote_jobs():
    word = 'python'
    SEARCH_URL = f"https://remoteok.io/remote-dev+{word}-jobs?hide_sticky=&compact_mode=true&location=anywhere"
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36',}
    r = requests.post(SEARCH_URL, headers=headers)
    r.raise_for_status()
    print(r.status_code)
    soup = BeautifulSoup(r.text,'html.parser')
    get_jobs(soup)