[파이썬 크롤링] #5. requests 사용 방법 간단 정리

2021/01/02 - [프로그래밍/Python] - [파이썬 크롤링] #3. urllib으로 웹 페이지 추출

[파이썬 크롤링] #3. urllib으로 웹 페이지 추출

 

 

앞서 urllib으로 Request하는 방법에 대해서 한번 살펴 보았는데요,

파이썬에서 내장되어 있는 기본 라이브리러를 사용하는 것도 좋지만, 

외부 라이브러리를 활용하면 더욱 편리하게 request를 할 수 있습니다.

 

오늘은 간략히 HTTP 요청을 보내는 모듈인

requests 에 대해서 간단히 알아 보도록 하겠습니다.

 

 

requests 모듈설치

 우선 모듈을 먼저 설치해야 됩니다.

pip install requests

 

 

GET방식의 데이터 요청

가장 많이 사용 되어지고 있는 GET방식의 데이터 오청 하는 방법 입니다.

 

GET방식의 데이터 요청은 url에 원하는 파라미터를 넣는 방식이죠.

예) https://naver.com?search=파이썬

과 같은 방식으로 요청하는 걸 말합니다. url에 정보가 나타나는 거죠

 

# GET방식으로 데이터 요청
# params = {'param1' : 'value' , ... }
# request.get(URL, params = params)

 

POST방식의 데이터 요청

POST 방식의 데이터는 GET방식과는 다르게 URL에는 원하는 데이터를 보내지 않고 body에 데이터를 담아서 보내는 방식입니다.

 예) https://daum.net/login

 

 위와 같이 로그인을 하면, login에 ID와 PW가 전달되어야 하는데 ID와 PW가 url에 나타나면 뭔가 그렇쥬? 그래서 상대적으로 GET방식보다 보안이 필요한 경우, 혹은 전달하는 양이 많을 경우 POST방식을 사용한다 보시면 됩니다.

 

# POST 방식으로 데이터 요청
# data = {'data1' : 'value' , ... }
# request.get(URL, data=data)

 

두 방식 모두 requests.get 매소드를 호출하지만, 매개변수 값으로 GET방식의 경우 params를, POST방식의 경우 data의 인자 값을 넣어서 전달합니다.