엔지니어링 로그와 인텔리전스: 인비시블 클라우드 솔루션에서의 인턴십 여정

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

인공지능, 개발 툴

대상자

• 대상: 소프트웨어 개발자, 인턴십을 준비하는 학생, AI 및 DevOps 분야에 관심 있는 개발자
• 난이도: 중급 이상 (복잡한 로그 인프라 구축 및 AI 프로젝트 경험)

핵심 요약

• 프로젝트 개요:
• Observability Infrastructure: Windows/Linux 시스템에서 로그 수집 및 시각화를 위한 Grafana, Loki, Cribl 기반 인프라 구축 (Grafana Loki, Cribl Edge).
• Generative AI Agent: Arxiv API, Haystack, RAG(Retrieval-Augmented Generation)를 활용한 연구 논문 검색 도구 개발 (FastAPI, OpenSearch).
• 기술 습득:
• 로그 수집 (rsyslog), 중앙 집중식 로깅 (centralized logging), AI 파이프라인 (RAG).
• 성과:
• 6개월 내 두 가지 프로젝트 완료, 클라이언트 피드백 얻음.

섹션별 세부 요약

1. 인턴십 개요 및 환경

• 기간: 2024년 6월 ~ 12월 (하이브리드 근무).
• 팀 분위기: 동문 셀러리스트의 멘토링, 오피스 문화에서의 협업 (예: Dinesh Kumar와의 오전 대화).
• 학습 활동: 기술 미팅, 부트캠프, 해커톤 참여로 기술 확장.

2. Observability Infrastructure 프로젝트

• 목표: Windows/Linux 시스템의 로그 수집 및 시각화 인프라 구축.
• 기술 스택:
• Windows: Cribl Agent + Event Logs → Grafana Loki → Grafana Dashboards.
• Linux: rsyslog → Cribl Edge/Stream → Grafana Loki.
• 결과: 크로스 플랫폼 로그 관찰 솔루션 PoC 성공.

3. Generative AI Agent 프로젝트

• 목표: 사용자 쿼리 기반 연구 논문 검색 및 요약 AI 에이전트 개발.
• 기술 스택:
• Haystack + Gemini (RAG 파이프라인).
• FastAPI + Streamlit (PoC 및 API 서버).
• Arxiv API + OpenSearch (데이터 저장 및 검색).
• 결과: 1개월 내 프로토타입 완성, 확장 가능한 마이크로서비스 구축.

결론

• 핵심 팁:
• Observability 및 AI 도구 (예: Grafana Loki, RAG)의 실무 적용을 위해 기술 습득과 멘토링을 병행해야 함.
• 프로젝트 성공을 위해 빠른 학습 속도 (10시간 이상의 일일 개발)와 협업 (Harshita Miranda, Suryaa Azhakhiamanavalan)이 중요.
• 결론: 두 프로젝트를 통해 기술적 성장과 실무 경험을 동시에 얻은 인턴십의 가치.