Defuddle: Obsidian 웹 클리핑을 위한 차세대 HTML-to-Markdown 변환 도구

핵심 기술

Defuddle은 웹 페이지에서 핵심 콘텐츠를 추출하여 HTML을 Markdown으로 변환하는 도구로, 특히 Obsidian Web Clipper를 위해 개발되었습니다. 기존 Mozilla Readability보다 유연하고 다양한 HTML 표준화 기능을 지원하며, 수식, 코드 블록, 각주 등 복잡한 콘텐츠도 일관성 있게 처리합니다.

기술적 세부사항

• 주요 기능: 웹 페이지에서 불필요한 요소(댓글, 사이드바 등)를 제거하고 본문만 남겨 쉽게 읽기 좋은 형태로 정제합니다.
• 유연성 및 호환성: Mozilla Readability보다 유연하며, Turndown 등 다른 HTML-to-Markdown 변환기와의 호환성을 목표로 합니다.
• 지원 기능: 수식(MathJax, KaTeX), 코드 블록(줄 번호, 하이라이트 제거), 각주, 인라인 참조 등의 복잡한 요소를 표준 HTML 또는 Markdown으로 변환합니다.
• 메타데이터 추출: 저자명, 발행일, 제목, 도메인, 파비콘, 대표 이미지, 메타 태그, schema.org 데이터 등 다양한 메타데이터를 추출합니다.
• 번들 옵션: Core (브라우저), Full (추가 기능), Node (Node.js 환경 최적화) 등 사용 목적에 따라 다양한 번들을 제공합니다.
• 빌드: Node.js 환경에서 npm install 및 build 명령어로 패키지 빌드가 가능합니다.
• HTML 구조 보존: 클래스, ID, data-* 속성 유지, div 플래튼 루틴 생략, H1을 H2로 변환, H1~H6 내 앵커링크 제거 등의 옵션을 통해 문서 구조를 최대한 보존합니다.
• 반환 객체: author, content, description, domain, favicon, image, metaTags, parseTime, published, site, schemaOrgData, title, wordCount, debug, url, markdown, separateMarkdown 등의 정보를 담은 객체를 반환합니다.

개발 임팩트

• 웹 콘텐츠를 효과적으로 수집하고 지식 베이스로 관리하는 데 도움을 줍니다.
• Obsidian 사용자의 노트 작성 효율성을 크게 향상시킬 수 있습니다.
• 다양한 웹 페이지의 콘텐츠를 일관된 포맷으로 변환하여 재활용성을 높입니다.

커뮤니티 반응

• 많은 사용자가 Obsidian Web Clipper의 마크다운 변환 품질에 감탄하며, 자체 개발 앱에 Defuddle을 적용하려는 기대를 보이고 있습니다.
• Mozilla Readability의 유지보수 현황에 대한 궁금증과 함께, Defuddle이 그 빈자리를 채울 수 있다는 긍정적인 반응이 있습니다.
• 일부 사용자는 코드베이스의 개선점을 지적하며, 개인적인 포크 경험을 공유하고 PR 제출의 어려움을 언급하기도 했습니다.
• Trafilatura(Python/Go) 등 유사 라이브러리와의 비교, 그리고 Go 언어 포트 버전에 대한 언급도 있었습니다.
• ChatGPT 대화 내용이나 웹사이트 읽기 모드에서의 렌더링 문제 등 실사용 시나리오에 대한 논의도 활발합니다.