Ask GN: Hacker News 링크 입력시 댓글 요약후 한글번역하는 방법이 있을까요?

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

웹 개발

대상자

• *웹 개발자, 자동화 프로그래머**
• 난이도: 중간 (API 조작, NLP, 번역 툴 활용 필요)*

핵심 요약

• Hacker News API(https://hacker-news.firebaseio.com/)를 활용하여 댓글 데이터를 추출
• NLP 기반 요약 알고리즘(BERT, T5 등)을 사용해 댓글 요약
• 한글 번역 시 ~했음, ~함, ~됨 등 문법적 변환 적용

섹션별 세부 요약

1. 데이터 수집

• Hacker News API의 item/{id}.json 엔드포인트를 통해 댓글 ID 추출
• comments 키에 해당하는 배열을 순회하며 각 댓글의 text 필드 파싱
• API 요청 시 Accept: application/json 헤더 설정 필수

2. 댓글 요약

• 댓글 텍스트를 sentence_tokenize 후 핵심 문장 추출
• 요약 모델(transformers 라이브러리 활용)을 통해 max_length=50로 요약
• 요약 결과는 summarized_comments 리스트에 저장

3. 한글 번역 및 문법 변환

• Google Cloud Translation API 또는 DeepL API를 사용해 영어→한글 번역
• 번역 결과에 re.sub(r'(\w+)$', r'\1됨', text)와 같은 정규식을 적용해 문법 변환
• 번역 완료 후 GeekNews 플랫폼에 결과 공유

결론

• requests, BeautifulSoup, transformers, googletrans 라이브러리 활용 권장
• API rate limit을 고려해 time.sleep(1) 적용 필요
• 번역 문법 규칙은 re.sub 또는 spacy로 동적 적용 가능