API에서 대시보드까지: 파이썬, PostgreSQL 및 Grafana를 활용한 키티아 외채 추적
카테고리
프로그래밍/소프트웨어 개발
서브카테고리
데이터 분석
대상자
- 데이터 엔지니어, 분석가, 개발자
- 중간 난이도: Python, SQL, 데이터 시각화 도구(Grafana) 기초 이해 필요
핵심 요약
- 데이터 파이프라인 구축:
World Bank API
에서 데이터 추출 →Pandas
로 변환 →PostgreSQL
저장 →Grafana
대시보드 시각화 - 데이터 처리 핵심:
df.dropna()
로 결측치 제거,pd.to_datetime()
으로 날짜 형식 통일 - 시각화 도구:
Grafana
로 연간 외채 추이(折线图) 및 연간 변화(柱状图) 분석
섹션별 세부 요약
1. 데이터 추출 및 변환
- API 호출:
requests.get()
으로World Bank API
에서 외채 데이터(DT.DOD.DECT.CD
) 추출 - 데이터 변환:
Pandas
의 리스트 컴프리헨션으로country
,date
,value
필드 추출 - 결측치 처리:
df.dropna()
로value
가null
인 행 제거
2. PostgreSQL 데이터베이스 설정
- 환경 변수 관리:
.env
파일에서DB_USER
,DB_PASS
,DB_HOST
,DB_PORT
,DB_NAME
설정 - 연결 생성:
sqlalchemy.create_engine()
으로 PostgreSQL 연결 문자열 생성 - 데이터 저장:
df.to_sql()
로external_debtKe
테이블에 데이터 로드
3. Grafana 대시보드 시각화
- 시간 시리즈 분석:
Line Chart
로 2010~2024 연간 외채 추이 시각화 - 연간 변화 분석:
Bar Chart
로year-over-year
차이 계산 후 시각화 - 데이터 통합: PostgreSQL 데이터소스 연결 후 Grafana에서 실시간 분석 가능
결론
- 실무 적용 팁:
.env
파일로 보안 강화,Pandas
와SQLAlchemy
활용한 효율적인 데이터 파이프라인 구축, Grafana의 시간 시리즈 분석 기능 활용 - 핵심 결과: 키티아 외채는 2010~2024 연간 증가 추세, 재무부채 상환에 한계 가능성 시사