자가호스팅 AI 에이전트 구축: n8n과 Pinggy 개발자 경험

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

인공지능, DevOps

대상자

• AI 워크플로우 제어를 원하는 개발자
• 자체 인프라에서 LLM(대규모 언어 모델)을 실행하려는 기술자
• 보안 및 비용 절감을 중시하는 DevOps 엔지니어
• 난이도: 중급 이상 (Docker, SSH 터널링, AI 모델 실행 경험 필요)

핵심 요약

• 자체 호스팅의 핵심 이점: 자체 인프라 사용으로 데이터 프라이버시 보장 및 비용 예측 가능성 확보
• 핵심 도구:

- n8n: 워크플로우 자동화

- Ollama: 로컬 LLM 실행 (예: Llama3, Mistral)

- Qdrant: 임베딩 벡터 저장

- PostgreSQL: 워크플로우 지속 저장

• 보안 강화: Pinggy를 통한 SSH 터널링 및 기본 인증(basic auth) 적용

섹션별 세부 요약

1. 클라우드 기반 AI의 한계

• Privacy risks: 민감 데이터가 인프라 외부로 유출
• Cost unpredictability: 사용량 기반 요금제로 비용 예측 불가
• Limited flexibility: 제공업체의 모델 및 레이트 리밋 의존

2. 자가호스팅 환경 구성

• Docker 및 Docker Compose 설치 후 self-hosted-ai-starter-kit 복제
• n8n 실행 명령어:

```bash

docker compose --profile cpu up

```

• NVIDIA GPU 사용 시: --profile gpu-nvidia로 추론 속도 향상

3. AI 워크플로우 실행

• Ollama를 통해 Llama3 모델 자동 다운로드 (인터넷 속도에 따라 시간 소요)
• n8n 워크플로우 내에서 AI와 대화 가능
• PostgreSQL을 활용한 대화 내역 저장

4. 보안 및 접근 제어

• Pinggy를 통한 SSH 터널링:

```bash

ssh -p 443 -R0:localhost:5678 a.pinggy.io

```

• 기본 인증 추가:

```bash

ssh -p 443 -R0:localhost:5678 -t a.pinggy.io b:username:password

```

5. 활용 사례

• PDF 처리: text-splitting 노드 활용
• 임베딩 생성: Ollama + Qdrant
• 데이터 분류: AI Transform nodes 활용
• 결과 전송: email/webhook 통한 데이터 전달

6. 문제 해결 및 팁

• 모델 다운로드 실패 시:

```bash

docker exec -it ollama ollama pull llama3:8b

```

• n8n과 Ollama 연결 문제 시:

- base URL 설정 확인:

- Docker: http://ollama:11434

- 로컬 Mac: http://localhost:11434

7. 결론

• n8n + Pinggy 조합은 자체 호스팅 AI의 보안성과 유연성을 극대화
• Docker와 SSH 터널링을 통해 원격 액세스 가능
• Llama3 실행 및 워크플로우 자동화를 위한 최적의 개발 환경 제공

결론

• 자체 호스팅 환경에서 n8n과 Pinggy를 결합하면 AI 워크플로우 자동화와 보안성을 동시에 달성 가능
• Docker와 SSH 터널링 기술을 활용한 원격 액세스가 핵심
• Llama3 실행 및 워크플로우 구성 시 Ollama와 Qdrant 연동이 필수적