오랜만에 업데이트!

최근에 이것저것 하느라 너무 바빠서 업데이트를 간만에 하게 되었네요.

핀테크(?) 스타트업에서 인턴을 시작했고, 스터디도 병행하다보니 개인적으로 계속 하고 있는 것은 있었는데 여기에 정리할 시간이 부족했던 것 같아요.

이렇게 들어오게 된 것은 만들어둔 틱데이터 크롤링 봇이 작동을 멈춰서 좀 살펴볼 겸 AWS에 들어갔다가 요금표를 보고 놀라서 바로 정리할 것들 정리할 겸 해서 여기에도 간단하게 적어보고자 들어왔습니다.

원래 틱데이터 수집을 EC2를 따로 띄워서 거기에 윈도우 스케줄러를 사용해서 RDS에 연동된 MYSQL DB로 자동으로 쌓도록 만들어놓았는데, 작동이 잘 되는지 확인하기 위해 텔레그램 봇이랑 연동을 해놓았었거든요.

그래서 잘 작동을 하는 경우 

위와 같이 데이터가 몇개가 쌓였다고 보고를 하게 만들었는데

어느 순간부터 안 뜨더라구요...ㅠ 

그래서 확인 겸 AWS에 들어가서 결제 대시보드를 봤는데

윽 1월에는 얼마 안나왔었는데 프리 티어가 풀리다 보니까 76배나 올라서 예상 금액이 7만원이 넘게 나왔습니다...ㄷㄷ

트레이딩을 돌리고 있던 것도 아니고, 틱데이터 수집은 이만하면 충분하다고 생각해서 그냥 인스턴스를 종료하기로 결정했습니다. 덤으로 RDS도 몽고디비로 옮길 생각이라서 그냥 수집해놓은 데이터 다 다운받고 끄기로 결정.

다운을 다 받았는데 2종목 6개월치 체결데이터 & 호가데이터가 대략 15GB정도 나오네요. 이걸로 학습을 돌려보려고 해도 램이 상당히 많이 필요할 것 같습니다ㅎㅎ... 집에서는 통째로 학습시키는 건 무리겠네요. chunk로 잘라서 쓰고 새로 로드하고 쓰고 새로 로드하고 해야 할 것 같습니다. 이럴 때면 회사 컴퓨터가 좋긴 한 것 같아요ㅋㅋ 램이 500기가...!!

다운받고 지우려고 보니 지난 학기 SNUSV라는 창업 동아리 때도 유용하게 썼던 디비인데 막상 지우려고 하니까 좀 아쉽긴 하지만 예산 절약을 위해 과감히 지웠습니다.

남아 있는 건 작업 중인 서비스 홈페이지랑 연동된 Beanstalk, ELB 정도가 있겠네요. 사실 람다를 쓰면 비용절감은 가능할 것 같긴 한데 본업이 개발자가 아닌지라 시간 투자를 할 수가 없어서 그냥 돈으로 때울 생각입니다....하하

아무튼 크롤링 봇 에러는 키움증권 api랑 연동 문제가 생겨서 프로세스가 계속 쌓이다가 에러가 났었던 거였습니다. 그것도 사실 이전에 발견하긴 했는데 고쳐놓기 귀찮아서 한 일주일에 2번 정도 직접 들어가서 지워줬었는데, 제 잘못이긴 합니다ㅋㅋ

최근에는 코인 트레이딩에 관심이 좀 생겨서 그쪽으로 해볼까 생각 중에 있습니다. 많은 분들께서 하고 계시니까 자료 찾기도 더 수월하지 않을까 싶어요ㅋㅋ 거래소 API도 잘 되어 있는 것 같더라구요!

아무튼 간만에 정리도 할겸 오랜만에 끄적여봅니다!