본문 바로가기

프로그래밍/Python

프로그래밍/Python 2021. 1. 14. [파이썬 크롤링] #4. 정규표현식 데이터 추출 2021/01/02 - [프로그래밍/Python] - [파이썬 크롤링] #3. urllib으로 웹 페이지 추출 [파이썬 크롤링] #3. urllib으로 웹 페이지 추출 2021/01/02 - [프로그래밍/Python] - [파이썬 크롤링] #1. 크롤링이란 무엇일까요? 2021/01/02 - [프로그래밍/Python] - [파이썬 크롤링] #2. 개발 환경 설치와 파이썬 기초 3번째 urllib을 알아보기 이전에 HTML.. kgu0724.tistory.com 앞서 우리가 가져온 HTML 파일을 정규 표현식으로 데이터를 추출해 보도록 하겠습니다. 정규 표현식? 우선 정규식이란 것은 특정한 규칙을 가진 문자열의 집합을 표현하는데 사용하는 언어 인데요. 정규 표현식을 이를 프로그래밍언어로써 활용할 떄 사용하..
프로그래밍/Python 2021. 1. 2. [파이썬 크롤링] #3. urllib으로 웹 페이지 추출 2021/01/02 - [프로그래밍/Python] - [파이썬 크롤링] #1. 크롤링이란 무엇일까요? 2021/01/02 - [프로그래밍/Python] - [파이썬 크롤링] #2. 개발 환경 설치와 파이썬 기초 3번째 urllib을 알아보기 이전에 HTML에 대해서 알아보도록 하겠습니다. HTML은 우리가 웹브라우저에 나타나는 화면을 말합니다. 아래와 같이 NAVER에 접속을 하면 우리 웹 브라우저에 화면이 나타죠? 웹 페이지 추출 urllib을 활용해서 웹 페이지 추출하기 이번에는 파이썬에서 표준 라이브러리 urllib를 사용해서 웹 페이지를 추출해보도록 하겠습니다. 표준 라이브러라고 하는 것은 파이썬에서 기본적으로 제공해주는 라이브러리 입니다. 별도의 설치가 필요 없기 때문에 바로 사용하시면 됩니다...
프로그래밍/Python 2021. 1. 2. [파이썬 크롤링] #2. 개발 환경 설치와 파이썬 기초 2021/01/02 - [프로그래밍/Python] - [파이썬 크롤링] #1. 크롤링이란 무엇일까요? 지난 시간에는 크롤링에 대해서 간단히 살펴 보았는데요 이번시간에는 웹 크롤링을 하기 위해서 필요한 파이썬 언어의 기초 문법에 대해서 한번 알아 보도록 하겠습니다. ◎ 파이썬 기초 1. 파이썬은 무엇일까요? 파이썬은 어떤 장점이 있을까요? 파이썬에 대해서 간략히 살펴 보면... 파이썬은 초보자부터 전문가까지 사용자층을 보유하고 있다. 동적 타이핑(dynamic typing) 범용 프로그래밍 언어로, 펄 및 루비와 자주 비교된다. 다양한 플랫폼에서 쓸 수 있고, 라이브러리(모듈)가 풍부하여, 대학을 비롯한 여러 교육 기관, 연구 기관 및 산업계에서 이용이 증가하고 있다. 또 파이썬은 순수한 프로그램 언어로서..
프로그래밍/Python 2021. 1. 2. [파이썬 크롤링] #1. 크롤링이란 무엇일까요? 파이썬 크롤링 시작 최근 크롤링에 대해서 많이들 관심을 가지고 있습니다. 사실 최근이라기 보다는 오래 되긴 했는데, 크롤링을 하는 사람들이 많지 않다가~ 최근에 넓게 크롤링을 사용해주시는 것 같아요. 이건 아마 개발자가 주로 사용하다가, 비개발자들도 쉽게 크롤링을 사용 할 수 있기 때문이지 않을까요? 이처럼 비개발자들도 크롤링을 하는 이유는, 업무를 하면서 데이터를 수집이 필요할 때, 쉽고 빠르게 데이터를 얻어 올 수 있는 아주 유용한 방법이기 때문이지 않을까요? ◎ 데이터 수집 방법의 종류 데이터를 수집하는 방법에는 크게 두 가지가 존재합니다. 1. API를 사용해서 데이터를 쉽게 수집 2. 웹브라우저의 데이터를 분석하며 데이터를 추출 *API는 간단히 사이트를 운영하는 곳에서 내가 가지고 있는 데이터..
프로그래밍/Python 2020. 8. 29. VS Code 단축키 전체 기본 편집 키명령명령 ID ctrl+X 행 삭제 (빈 선택) editor.action.clipboardCutAction ctrl+C 행 복사 (빈 선택) editor.action.clipboardCopyAction ctrl+shift+k 행 삭제 editor.action.deleteLines ctrl+Enter 아래에 행 삽입 editor.action.insertLineAfter ctrl+shift+Enter 위에 행 삽입 editor.action.insertLineBefore alt+Down 행을 아래로 이동 editor.action.moveLinesDownAction alt+Up 행을 위로 이동 editor.action.moveLinesUpAction shift+alt+Down 위에 행 복사 추가 e..
프로그래밍/Python 2020. 8. 14. 파이썬 언더바, 언더스코어가 이렇게 쓰인다? 출처: https://doorbw.tistory.com/153 [Tigercow.Door] 1. 값을 무시하고 싶은 경우 제일 먼저 알아볼 경우는 값을 무시하고 싶은 경우입니다. 물론 쓰레기 변수를 만들어서 사용해도 되겠지만 언더스코어를 사용하는 경우 더 깔끔하고, 코드를 확인할 때 사용하지 않는 값임을 나타내기 때문에 보다 직관적일 수 있다고 생각합니다. 사실상, 값을 무시하는 경우가 언제 필요할까? 라는 생각이 드시는 분도 있겠지만 간단하게는 아래와 같은 코드에서 값을 무시할 경우가 생깁니다. 예제가 깔끔한지는 의문이 들지만.. 대략 무슨 느낌인지 아시겠나요? 우리가 for 문을 사용할때 지정되는 인덱스가 굳이 필요 없을때가 있습니다. 이럴때 언더스코어를 사용하며 또는, 우리가 함수 등에서 한번에 두..
프로그래밍/Python 2020. 7. 23. [Python 기초] 문자열 자료형 (String) String 타입에 대해서 알아보도록 하겠습니다. 파이썬의 문자열을 대부분 ""이나 '' 로 감싸져 있습니다. 어? 왜 이렇게 복잡하게 했지? 라고 의심하실 수도 있지만, 다 이유가 있습니다. 왜냐하면, "It's New"라는 말을 출력하고 싶을 때에 '는 문자열로 나타내고 싶다면 ( " ) 큰따옴표 내부에 ( ' ) 작은 따음표를 사용하면 됩니다. 문자열 사용하기 >>> a = "apple" >>> a 'apple' >>> a = 'apple' >>> a 'apple' 문자열 내에 ' (작은따옴표) 추가하는 방법 >>> n = "it's new" >>> n "it's new" >>> print(n) it's new >>> n = 'it\'s new' >>> print(n) [이스케이프 코드란?] 문자열..
프로그래밍/Python 2020. 7. 23. [Python 기초] 숫자형 (number) 숫자형(number) 정수, 실수, 8진수, 16진수 같은 것들이 있습니다. Type은 Number다 라는 걸 알아주시면 됩니다. 숫자형 만들기 1) 정수형 (integer) python에서는 변수에 다양한 정수들을 넣을 수가 있습니다. >>> a = 10 >>> a = -78 >>> a = 0 >>> type(a) 2) 실수형 (float) 정수 뿐만이 아니라 실수도 숫자형에 포함이 됩니다. >>> a = 1.212 >>> a = -4.52 >>> type(a) 이처럼 일반적인 실수형이 아니라 수학시간에 많이 봐왔던 지수 표현방식도 float형에 속합니다. >>> a = 3.41E10 >>> a = 3.41e-10 여기서 대문자E는 10^10승 을 이야기하고, 소문자 e는 e^-10승이라고 보시면 됩니..
프로그래밍/Python 2020. 5. 17. Python 네이버 이미지 크롤링 방법 네이버 크롤링 방법들이 여러가지가 있는데, 최근 네이버에서 크롤링 하는 방법들을 상당히 막아둬서 여기저기 찾아보다가 어렵사리 구현을 완료했네요. 저는 우리나라 영화배우 이미지를 모두 크롤링 하고 싶어서 도전을 했는데요 우선 크롤링 하기 위해서 Selenium을 활용해서 크롤링을 해왔습니다. import urllib.request from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.common.keys import Keys # 웹 애플리케이션의 테스트를 자동화하기 위한 프레임 워크 # 손으로 마우스 클릭해서 데이터를 검색하고 스크롤링 할 수 있다 import os import time # 중간마다 sleep..
프로그래밍/Python 2020. 1. 21. Ep1. Python 변수와 문자열 인덱싱 및 슬라이싱, 리스트, 딕셔너리 파이썬으로 확인하는 인덱싱 및 슬라이싱 ◎ 문자열 인덱싱 1. 파이썬 문자열 길이 확인 >>> mystr = 'hello world' >>> len(mystr) 11 2. 문자열 앞에서 일부분 추출하기 - 문자열 중 일부분만 추출하고 싶을 때 사용하는 방법 >>> mystr[0:5] # 0부터 5인덱스까지 추출 'hello' >>> mystr[6:11] # 6부터 11까지 인덱스 추출 'world' - 만일 끝까지 길이를 모른다면 >>> mystr[6:] 'world' >>> mystr[:5] 'hello' 3. 음수 인덱싱? - 음수 인덱싱은 말 그대로 뒤에서 첫번째 인덱스를 나타냅니다 >>> mystr[-1] 'd' ◎ 문자열 자르기 1. 빈칸 문자열 제거하기 / 빈칸 문자자열 에 특정값 가져오기 >..
프로그래밍/Python 2020. 1. 9. 파이썬 request url에 한글 포함되어 있을 때 문제 해결 만일 내가 원하는 url 값에 한글이 포함되어 있어 검색이 되지 않을때 해결하는 방법입니다. https://127.0.0.1:8000/search?keyword=food&limit=50 위에 처럼 food의 값이 영어라면 잘 request가 되지만 https://127.0.0.1:8000/search?keyword=한글포함&limit=50 한글이 들어가버리면 문제가 생기게 됩니다. 이럴 경우에는 저 한글을 인코딩을 해줘야 합니다. import urllib.request import urllib.parse value = 한글 #parse모듈을 사용해 한글("한글")변수를 유니코드로 치환 encode = urllib.parse.quote_plus(value) #한글을 제외한 주소를 url1에 저장 url =..
프로그래밍/Python 2020. 1. 1. Python 문자열 내 값 찾기 원하는 문자에 값을 찾기 위해서는 어떻게 해야 할까요?? 저는 find()함수를 사용하는데요 find 함수의 경우에는 원하는 값이 있으면 그 인덱스를 반환합니다. 만일 원하는 데이터가 없다면?? 그떄는 -1을 리턴합니다. str = '2020년 새로운 트랜드는 어떤게 있나요?' search = '트랜드' if str.find(search) > 0: print('find!!') 즐거운 코딩하세요~

티스토리툴바