🕸️오픈소스
LLM으로 비정형 텍스트를 지식 그래프로 변환하기
LLM을 활용해 텍스트에서 엔티티와 관계를 추출하고, 지식 그래프로 시각화하는 방법
↗ 원본 링크#LLM#지식그래프#데이터분석#시각화
개요
비정형 텍스트에서 인물, 기술, 사건 등의 관계를 자동으로 추출하여 지식 그래프로 만드는 프로젝트입니다. LLM을 활용해 텍스트를 분석하고 Subject-Predicate-Object(SPO) 형태로 관계를 구조화합니다.
주요 기능
1. 텍스트 Chunking과 SPO 추출
▸대용량 문서를 작은 청크로 분할 (기본 200단어, overlap 20단어)
▸각 청크에서 엔티티 간 관계를 트리플 형태로 추출
▸예시: `Subject → Predicate → Object`
▸실행 결과: 13개 청크에서 216개 트리플 추출
2. 엔티티 표준화
동일한 개념이 다른 이름으로 추출되는 문제를 해결합니다.
AI
Artificial Intelligence → 하나의 표준 엔티티로 통합
AI system▸LLM 기반 엔티티 정렬 지원
▸201개 엔티티 → 160개로 정리
3. 관계 추론
텍스트에 명시되지 않은 관계까지 추론하여 그래프 연결성을 강화합니다.
▸규칙 기반 + LLM 기반 추론
▸분리된 커뮤니티 간 관계 연결
▸전이적 관계 적용
▸최종 결과: 564개 트리플 (추론 355개 포함)
4. 인터랙티브 시각화
생성된 지식 그래프를 HTML 형태로 시각화하여 탐색할 수 있습니다.
지원 플랫폼
OpenAI 호환 API를 사용하는 다양한 환경을 지원합니다:
▸Ollama
▸LM Studio
▸OpenAI
▸vLLM
▸LiteLLM
활용 분야
▸문서 지식 관리
▸참고문헌 분석
▸기업 뉴스 데이터 구조화
▸복잡한 개념 관계 시각화