본문 바로가기
경제적 자립/올웨더 포트폴리오

ETF 종가(상장 첫날부터 오늘까지) 코딩없이 수집 하기 for 올웨더 포트폴리오

by 굿리타이어 2020. 6. 13.

안녕하세요 오랜만에 글쓰는거 같네요.

어느정도 포트폴리오를 완성하니 패시브 투자의 장점이 이렇게 독으로 돌아오네요 ㅋㅋ 소재가 고갈되었습니다 ㅎㅎ

이제는 레버리지 포트나 올웨더 포트가 아닌 다른 자산배분 포트도 공부를 좀 해봐야겠습니다.

코딩 없이 ETF 종가 데이터 수집하기

예전글에서 포트폴리오 비주얼라이저에 우리나라 ETF 종가데이터를 올려서 백테스트를 했었는데요.

2020/02/02 - [경제적 자립/올웨더 포트폴리오] - 증권사만 배불리는 국내판매 미국채권 ETF 사지마세요!!_올웨더(사계절 포트폴리오)를 위한 조사

 

증권사만 배불리는 국내판매 미국채권 ETF 사지마세요!!_올웨더(사계절 포트폴리오)를 위한 조사

수정) 이글을 쓰고 어이가 없어서 글 제목을 바꿔 봅니다. 아무리 생각해도 미국 현지 채권ETF와 국내에서 판매되는 미국 채권 ETF 수익률이 이렇게 차이나면 안된다고 생각합니다. 왜냐하면 근본

for-jobless.tistory.com

위 글에서 보면 국내 ETF 종가 데이터를 마땅히 구할 곳이 없어서 네이버에서 파이썬을 이용하여 종가데이터를 크롤링(긁어오다) 했었습니다.

하지만 저도 그렇고 이글을 보시는 많은 분들도 개발자가 아닌 분들이 많으실 것으로 생각됩니다.

파이썬이 아무리 자연어 같은 쉬운 프로그래밍 언어라고 하지만 그건 능력이 좋은 개발자님들의 생각일뿐 저같은 일반인에게는 그냥 어렵습니다 ㅋㅋ

뭐 하나 만들려면 한참 걸리더군요.

그래서 오늘은 코딩 없이 인터넷에 있는 데이터를 긁어 올 수 있는 툴을 소개해드리려고 합니다.

제가 해보니깐 5분 이내로 긁어오는 프로그램을 만들 수 있고 그냥 저같이 윈도우만 쓸 수 있으면 누구나 할 수 있을 것으로 생각됩니다.

우리가 사용 할 툴은 GUI(윈도우즈 같은 그래픽 방식) 방식으로 프로그래밍하는 UIPATH라는 툴입니다.

https://www.uipath.com/ko/

 

Robotic Process Automation | UiPath

UiPath is a leading Robotic Process Automation vendor providing a complete software platform to help organizations efficiently automate business processes.

www.uipath.com

위 사이트에 가서 일단 UIPATH를 다운 받아줍니다.

꼭 무료버전인 커뮤니티 클라우드 에디션 버전으로 받아주세요.

무료버전만 써도 너무나 충분히 사용 할 수 있습니다.

다 다운 받으면 첫화면이 이렇습니다.

UIPATH를 이용한 ETF 종가 데이터 크롤링 1

위 그림처럼 프로세스를 클릭 합니다.

UIPATH를 이용한 ETF 종가 데이터 크롤링 2

프로세스 이름과 저장될 위치 그리고 설명을 간단히 써주고 만들기를 클릭합니다.

그러면 프로세스가 아래와 같이 만들어 집니다.

UIPATH를 이용한 ETF 종가 데이터 크롤링 3

엑티비티 탭을 클릭하면 우리가 시키고 싶은 작업들이 쭉~ 나열됩니다. 이중에 골라서 드래그앤 드랍을 하면 프로그램이 만들어지는 식입니다.

예를 들면 클릭을 시키고 싶으면 CLICK 이라는 엑티비티를 찾아서 드래그앤 드랍을 하면 됩니다.

그리고나서 기본 워크플로우 열기를 클릭 합니다.

UIPATH를 이용한 ETF 종가 데이터 크롤링 4

그리고 익스플로러를 켜서 MSN 금융 페이지로 들어간 후 위의 시세검색 부분에서 종가를 긁어오고 싶은 ETF 또는 주식의 증권 번호를 입력합니다. 저같은 경우는 KODEX 200으로 긁어오기 위하여 069500으로 검색하였습니다.
(왜인지는 모르지만 2번 연속으로 검색 해줘야 제대로된 페이지가 나오네요;; MSN 쪽의 오류인듯 합니다.)

UIPATH를 이용한 ETF 종가 데이터 크롤링 5

위 그림처럼 기록 → 모두 이 순서로 클릭 해줍니다. 그러면 ETF가 시작된 날부터 오늘까지의 주가 정보가 쭉 나오게 됩니다.

그럼 이 페이지를 켜 놓은 상태에서 익스플로러를 아래로 내려놓고 다시 UIPATH로 돌아 갑니다.

UIPATH를 이용한 ETF 종가 데이터 크롤링 6

데이터 스크래핑을 클릭합니다.

UIPATH를 이용한 ETF 종가 데이터 크롤링 7

다음 클릭!

UIPATH를 이용한 ETF 종가 데이터 크롤링 8

날짜 밑에 있는 가장 최근 날짜를 클릭 해줍니다. 꼭 저렇게 파란 박스가 쳐져있을때 클릭 하셔야만 합니다.

만약 다음을 누르자마자 익스플로러 화면이 나오지 않는다면 당화하지 말고 F2를 눌러줍니다.

그러면 3초간 내가 아무 작업을 하더라도 UIPATH 과정에 영향을 미치지 않습니다.

그 3초간 익스플로러 화면을 띄우시고 3초가 끝난후 날짜를 눌러 주시면 됩니다.

UIPATH를 이용한 ETF 종가 데이터 크롤링 9

다시 다음 버튼을 눌러 줍니다.

UIPATH를 이용한 ETF 종가 데이터 크롤링 10

이전에 해줬던 것처럼 이번에는 두번째 날짜를 클릭 해줍니다.

그러면 모든 날짜들이 색이 변하면서 선택됩니다.

UIPATH를 이용한 ETF 종가 데이터 크롤링 11

텍스트 열 이름에 "날짜"로 적어 주고 다음을 클릭 해줍니다.

UIPATH를 이용한 ETF 종가 데이터 크롤링 12

상호 연결된 데이터 추출을 클릭하세요.

UIPATH를 이용한 ETF 종가 데이터 크롤링 13

종가 바로 아래의 가격을 클릭 해줍니다.

UIPATH를 이용한 ETF 종가 데이터 크롤링 14

다음 클릭!!

UIPATH를 이용한 ETF 종가 데이터 크롤링 15

두번째 종가를 클릭 해줍니다.

UIPATH를 이용한 ETF 종가 데이터 크롤링 16

텍스트 열 이름에 "종가" 라고 넣어 준후 다음을 클릭 해줍니다.

UIPATH를 이용한 ETF 종가 데이터 크롤링 17

여기까지 하면 모든 데이터가 데이터테이블로 들어오는 것을 보실수 있으십니다.

완료를 눌러주세요. ㅎㅎ

UIPATH를 이용한 ETF 종가 데이터 크롤링 18

우리가 원하는 데이터는 한페이지에 다 있으니 아니요를 선택해줍니다.

UIPATH를 이용한 ETF 종가 데이터 크롤링 19

위 그림처럼 EXTRACT STRUCTURED DATA 박스의 우측 상단 느낌표를 클릭 해줍니다.

UIPATH 오류로 인하여 추가 작업이 필요합니다. ㅠㅠ

변수 이름을 굳이 한글로 만들어줘서 오류가 나게 하네요 ㅠㅠ 저 느낌표가 오류가 났다는 표시입니다.

②, ③에 있는 Extract데이터 테이블을 클릭하여 A로 바꿔 줍니다.

이 A는 아까 우리가 뽑아낸 날짜와 종가가 저장되는 데이터 테이블의 이름입니다.

이렇게 A로 두군데 다 바꿔주시면 느낌표가 사라집니다.

그리고 ④번 항목에 100으로 되어 있는데 이것은 데이터를 100개까지만 뽑겠다는 의미입니다.

우리는 끝까지 뽑아야 하므로 0으로 변경해 줍니다.

여기까지가 날짜와 종가를 인터넷에서 퍼와서 내 컴퓨터의 메모리에 저장하는 과정입니다.

그러면 이제 메모리에 저장되어있는 정보를 CSV 파일로 뽑아내는 작업을 해보겠습니다.

참고로 CSV파일은 엑셀에서 읽혀지는 ,(콤마)로 정보들을 구분해 놓은 형태의 파일 입니다.

UIPATH를 이용한 ETF 종가 데이터 크롤링 20

액티비티 검색 창에 CSV라고 입력 합니다. 그러면 ②번항목처럼 Write csv라는 항목이 생기는데 이 항목을 마우스로 잡고 ③번 항목이 있는 플러스 버튼에 끌고 가서 드래그앤드랍 해줍니다.

UIPATH를 이용한 ETF 종가 데이터 크롤링 20

파일이 저장될 자신이 원하는 디렉토리 주소를 넣어줍니다. 저같은 경우는 바탕화면으로 설정했고 꼭 마지막에는

파일이름.csv를 넣어주셔야 하고 전체 디렉토리 주소는 "  "로 감싸주어야 합니다.

그리고 ②항목이 있는 곳에 우리가 추출해낸 데이터가 저장되어 있는 데이터테이블 A 라고 넣어줍니다.

이제 끝났습니다!!!

파일 디버그를 눌러줍니다~~!

UIPATH를 이용한 ETF 종가 데이터 크롤링 21

아까 지정한 디렉토리 주소로 가면 test.csv라는(자신이 지정한 파일명으로 있습니다. 저는 test.csv로 했기때문에 이 파일 이름으로 있습니다.) 파일이 있을 겁니다. 열어보면 위 그림과 같이 ETF가 상장된 첫날부터 최신 날짜까지의 날짜와 종가가 입력되어 있는 것을 보실 수 있으십니다.

텍스트와 그림으로 설명하다보니 설명이 긴데 직접 해보시면 정말 간편합니다.

우리는 지금까지 단한줄의 코드도 작성하지 않았지만 간편한 프로그램을 만들어 버렸네요 ㅎㄷㄷ

윈도우만 쓰실 수 있으시면 누구나 만들 수 있으니깐 도전해 보세요!!

참고로 꼭 MSN 증권 익스플로러를 띄워 놓고 실행 하셔야만 데이터가 추출됩니다.

모든 과정을 자동화 할 수 있지만 우리의 목적은 가장 빠르고 쉽게 ETF 종가를 인터넷에서 크롤링 하는 것이기 때문에 전과정 자동화 까지는 하지 않았습니다.

하지만 불가능 한것이 아니니 여러분이 한번 공부해서 만들어 보세요 ㅎㅎ

증권 번호만 딱 입력받으면 csv 파일에 날짜 종가데이를 넣어서 생성해주는 프로그램으로요.

그럼 앞으로도 좋은 정보로 인사드리겠습니다.

읽어주셔서 감사합니다!!

댓글