뚠뚠 뚠뚠

어쩌다 이런 주제를?봄여----름가을겨----울 이라고하는 요즘인데, 기후 변화로 봤을 때도 정말 봄이 짧아지고 있는건지?! 에 대한 궁금증 해소를 위해 날씨 데이터를 한 번 파보기로 했습니다. 데이터는 공공데이터포털 API를 이용했습니다. 아주 많은 항목들을 포함하고있지만 기후에 대한 지식이 얕은 관계로 기온을 위주로만 확인해보기로했기에 Response Element 중에서 아래 항목들만 사용했습니다. 기간은 1994년부터 2025년 4월 21일까지 '서울' 데이터를 가져와서 썼습니다. 대부분 2024까지 끊어서 봐야했습니다.(아직 올해는 여름이 오지않았기때문에)항목명(국문)항목명(영문)항목크기항목구분샘플데이터항목설명시간tm10필수2010-01-01일시지점 번호stnId3필수108종관기상관측 지점 번호..

시작하며어느새 글또 10기의 마지막 주차. 이번 주 글은 이미 하나 제출했지만 마지막 날을 기념하여(?) 글또 활동 전체를 돌아보는 회고를 해보려한다. 딱히 공개한 적 없지만, 9기 활동 내적 키워드는 ‘예치금 까먹지 말자’ 였고, 10기 활동 키워드는 ‘용기 내보기(=일단 해보기)’ 였다. 9기는 무사히 작은 목표를 달성했었고, 오늘 10기 활동을 돌아보며 앞으로 기술 블로그와 글쓰기에 대해서도 또 글또 없이 어떻게 할지를 생각해본다.글또 10기 활동글 제출 내역title content_url dt category새롭게 글또 10기를 시작하며https://hyun21.tistory.com/102024-10-13 17:20:29일상 & 생각[AWS]Amazon Redshift 알아보기https://hyu..

월데노 두 번째 주제로 소비 패턴 파악과 카드 정보를 가지고 필요한 카드 찾기 프로젝트를 진행해보려고 한다. 크롤링을 제대로 해본 경험이 많지는 않아서 쪼끔 걱정이긴했지만 뭐든 일단 해..! 하고 진행해보기로(그리고 시작된 고난의 길) 크롤링을위한 파이썬 라이브러리크롤링을 하고자할 때, 파이썬에 가장 대표적으로 beautifulSoup과 selenium 두 가지가 있는데요. 저는 이번에 selenium을 활용하여 네이버 신용카드 정보를 크롤링 해보고자 합니다!beautifulSoupHTML, XML 파일을 통해 데이터를 꺼낼 수 있는 라이브러리개인적으로 자주 사용한 함수: find_all(), find(), get_text(), select()참고selenium프로그램을 이용해 자동화된 웹 테스트를 수행..

가상화와 컨테이너(+도커)에 관심이 있어서 쉽게 읽어보기 좋은 게 없을까 하던중에 구매했던 도서인데 이제 구매한지 1년이 지남을 곁들인... 개인적으로 읽고 + 기억에 남는대로 아카이빙하는 용도의 글입니다.(개인 사족 2줄 정도..) 1.1 가상화란?실체가 없는 것을 존재하는 것처럼 보이게 하는 기술. 사실 가상화는 'virtualization' 영문으로 봤을 때 더 익숙하게 느껴지지 않을까 싶다. 개인적으로 가장 먼저 연성되었던 건 VM(Virtual Machine). 그리고 뜬금없을 수 있지만 개념이 와닿지 않는다면 버튜버나 버츄얼 아이돌같은 종류를 생각해봐도 좋을듯하다. (맥락 혹은 기반 개념은 결국 동일하기에..)다시 돌아와서 이런 가상화 기술을 통해서 하나의 물리 서버를 가지고 여러 대의 가상 ..

지난 편 데이터 웨어하우스 알아가기 #1. DW(Data Warehouse)란? 에 이어서 오늘은 모델링과 관련한 이야기를 한 번 해볼까 합니다. 지난 편에서 언급한 팩트 테이블(Fact Table)과 차원 테이블(Dimension Table) 용어를 다시 확인하고 오시는 것도 추천합니다😉 DW 모델링의 특징데이터웨어하우스 모델링은 대용량 데이터를 여러 관점에서 분석할 수 있게 구성하는 건데요, 이러한 모델링이 필요한 이유는 데이터 마트의 정보 요건을 적절히 지원할 수 있어야하고, 운영DB부터 비지니스 로직, 업무규칙을 바탕으로 모델의 기본 골격을 결정할 수 있어야하기 때문입니다. 더불어 이러한 DW 모델링에 몇 가지 특징이 있습니다. DW 모델링의 특징정보를 비즈니스 차원으로 분류 및 조직화특정 부서..

지난 글에 이어서 시계열 분석 모형 중 하나인 ARIMA 모형으로 분석작업한 진행한 과정의 기록입니다!https://hyun21.tistory.com/17 여행 갈 수 있을까..? ARIMA 모형과 함께하는 유로 환율 예측(1) - 전처리계기: 월간데이터노또(트)어느 날 글또 '데이터-ai 빌리지' 슬랙 채널에 올라온 글 하나...보는 순간 너무 재밌어보이잖아?! 물론 내가 이걸 꾸준히 할 수 있을까? 란 생각도 잠시 들었지만 할 수hyun21.tistory.com 유로 환율 그래프(2022.12.30 ~ 2025.01.24)파이썬 라이브러리 matplotlib으로 2022년12월30일부터 2025년1월25일까지 유로 환율 값의 추이를 보기 위한 그래프를 그려 본 모습입니다. 당연하다면 당연하게도 계속해..

계기: 월간데이터노또(트)어느 날 글또 '데이터-ai 빌리지' 슬랙 채널에 올라온 글 하나...보는 순간 너무 재밌어보이잖아?! 물론 내가 이걸 꾸준히 할 수 있을까? 란 생각도 잠시 들었지만 할 수 있는 건 다 용기내어 해보기를 목표로 삼았기에 일단 신청! (안되면 되게 하라 어차피 하게는 되어있을테니..) 올라온 글을 살짝 늦게 확인한 터라 걱정했는데 다행히도 참여할 수 있었습니다🫢 주제 선정해보고 싶은 건 많지만 할 수 있는 것을 염두에 두고 정리하려니 너무 복잡...하지만 사실 할 건 정해져있었다! 5월에 프랑스 여행을 앞두고 최근 유로화 환전을 얼마쯤에 하면 그래도 괜찮을까? 를 고민하고 있었기에 그리고 오랜만에 비교적 간단한(?) 시계열 분석도 돌려보고 싶어서 유로 환율을 ARIMA 모형으..

요즘 데이터 모델링 관련해서도 계속해서 찾아보던 중에, 오늘은 데이터웨어하우스가 무엇인지, 필요성과 DW와 관련한 몇 가지 개념을 간단하게 살펴보려고 합니다.  DW(Data Warehouse)란?Data Warehouse는 단어 그대로는 데이터 창고라는 의미를 가지는데, BI(Business Intelligence) 리포팅, 분석을 쉽게 할 수 있도록 지원하는 통합 데이터 관리 시스템입니다. 여러 원천(소스) 데이터를 연결하고 모아서 구축한 정보 시스템으로, 현재와 과거(historical) 데이터를 모아 조직의 분석 데이터 소스 역할을 합니다. 트랜잭션 데이터 일체부터 로그 및 기타 비정형 데이터까지 다양한 소스 데이터를 포함합니다.   DW의 특징(이점)각 표현에 차이는 있을 수 있겠으나 데이터 웨..