경험 많은 LLM 사용자지만, 실제로는 자주 사용하지 않는 이유
분야
- *프로그래밍/소프트웨어 개발**
대상자
- 개발자 및 데이터 과학자: LLMs를 활용한 코드 작성, 문제 해결, 도구 사용에 대한 실무 경험 공유
- 난이도: 중간~고급 수준, 기존 기술 습관과 LLMs의 한계 간 균형 이해 필요
핵심 요약
- LLMs 사용 시 발생하는 주요 장애물* **
- 라이브러리 혼동: pandas vs polars 등 새로운 라이브러리 사용 시 LLM의 정확성 한계
- 에이전트 기반 작업: 시스템 프롬프트 제어 불가능한 인터페이스에서의 제약
- 인터페이스 한계: OpenAI의 UI 제한 vs 백엔드 시스템 프롬프트 활용의 필요성
섹션별 세부 요약
1. **LLMs의 혼란스러운 사용 사례**
- 라이브러리 혼동:
- pandas vs polars 등 복잡한 라이브러리 사용 시 LLM의 정확성 저하
- 50,000 토큰 이하의 코드베이스는 Gemini 2.5 Pro 등 대형 모델에서 효과적
- 신규 라이브러리 업그레이드:
- 라이브러리 문서 및 전체 코드베이스를 컨텍스트에 직접 입력하는 방법 활용
- JavaScript 라이브러리 업그레이드 성공 사례 포함
2. **에이전트 기반 LLM 활용**
- 시스템 프롬프트 제한:
- 현대 LLM 인터페이스에서 시스템 프롬프트 명시적 설정 불가능
- ChatGPT는 시스템 프롬프트 존재, Claude는 없음
- JSON 응답 제어:
- 일관된 JSON 구조 반환을 위해 JSON 스키마 정의 필수
- JSON 응답이 예상대로 작동하지 않는 경우 스키마 기반 통제 필요
3. **LLMs의 한계와 대응 전략**
- 생성 텍스트 제약:
- 시스템 프롬프트에서 생성된 텍스트 제약 설정이 사용자 프롬프트보다 효과적
- 30단어 개념 이해 가능하지만, 항상 정확하지 않음
- 백엔드 인터페이스 활용:
- OpenAI의 ChatGPT UI 제한 vs 백엔드 시스템 프롬프트 활용 필요
- API 래퍼 사용 여부에 따라 성공률 차이 발생
결론
- LLMs 사용의 핵심 팁* **
- 라이브러리 혼동 방지: 신규 라이브러리 사용 시 컨텍스트 직접 입력 및 대형 모델 활용
- 인터페이스 전략: 백엔드 시스템 프롬프트 제어로 생성 텍스트 제약 강화
- JSON 통합: 일관된 응답 구조를 위해 JSON 스키마 정의 필수
- 실무 경험 공유: 채팅 로그 포함한 구체적 사례로 LLM 성과 증명 중요
- 모델 버전 고려: 시스템 프롬프트 효과 감소하는 신규 모델 사용 시 주의 필요