웹이란 (노드, 패킷, MAC, IP, port, tcp, http, html, 브라우저)
2021. 11. 16. 00:02
Web/네트워크지식
웹 수많은 을 연결해서 웹망(노드)들이 연결되어서 응답하는 것 웹서버가 '브라우저'(크롬,파이어폭스)에게 패킷을 전달 브라우저는 사실 웹서버에게 요청만 한 것 브라우저가 요청하면, 웹서버는 HTML 언어로 만들어서 중간에 노드를 통해 다시 응답 노드 중간중간에는 '라우터', '스위치'가 있다. '라우터'는 경로를 설정해줌 IP 주소 192,168.10.23 (버전 V) 각각은 255를 넘지 않는다. 물리층-> 맥(MAC) -> IP -> Port 물리층 물리층에서는 선을 몇가닥, 파형을 어떤 것을 쓸지 정한다. MAC 원하는 IP를 찾기 위한 보내는 경로 맥 주소는 한칸씩 띄어넘는다. IP IP는 MAC 주소의 도착 지점 Port 어떤 패킷이 왔을때, 이 프로그램을 실행하기 위한 로컬 안에 구별하기 위한..
OAuth
2021. 11. 14. 20:32
Web/웹운영
탄생배경 유저가 접속하려는 사이트에서 사용되는 카카오, 구글 등의 기능(API)을(를) 사용하기 위해 유저의 카카오, 구글 아이디 등의 SNS 계정으로 해당 사이트에 로그인하는 것 SNS 는 엑세스 토큰을 발행한다. 엑세스 토큰은 전체 기능이 아니라, 일부 기능만 사용하도록 하는 토큰이다. OAuth는 액세스 토큰을 얻어내기 위한 것이다. 대표적인 엑세스 기능 중에 회원 식별 기능 등이 있다. 구성 1. Client 가 리소스 서버에게 등록 앱 만들때 리소스 서버에 대한 구성요소: client ID/ client secrets/ Authorized redirct URLs(https:client.callback//) 클라이언트 아이디는 만들고 있는 애플리케이션 식별자 아이디, 노출해도 된다. 클라이언트 시..
JWT 인증
2021. 11. 10. 13:07
Web/웹운영
JWT( Json Web token) json 데이터 구조로 표현한 토큰으로 json으로 전자 서명을 하여, URL-safe 문자열로 표현한 것이다 서버와 클라이언트 간 정보를 주고 받을 때, Http 리퀘스트 헤더에 json 토큰을 넣은 후, 서버는 별도의 인증 과정 없이 헤더에 포함되어 있는 JWT 정보를 통해 인증한다. JWT는 세 파트로 나누어지며, 각 파트는 점로 구분하여 xxxxx.yyyyy.zzzzz 이런식으로 표현됩니다 해더는 알고리즘을 Signature를 해싱하기 위한 알고리즘을 지정하는 것이다. 페이로드는 토큰에 담을 클레임 정보를 포함하고 있다. 시그네쳐는 토큰을 인코딩하거나 유효성 검증을 할 때 사용하는 시크릿 키를 포함하여 암호화되어 있다. JWT 장점 JWT 의 주요한 이점은 사..
requests 모듈로 스크랩(크롤링 할때) 웹페이지 접속은 되는데, 503 error(에러) 뜰때
2021. 9. 20. 17:10
Web/crawling
웹페이지 접속은 되는데, 503 에러가 계속 뜰때 ex). remoteok.io 그 페이지에서 스크랩 방지를 걸어놓은 것이다 해결방법 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36',} r = requests.post(url, headers=headers) r.raise_for_status() def export_remote_jobs(): word = 'python' SEARCH_URL = f"https://remoteok.io/remote-dev+{word}-jobs?hide_sticky=&compact_mode=true&l..