RAG 자료창고 구축: 대반열반경 청크 만들고 검증하기
지난 글 요약 지난 글에서는 불교 자료창고에 자료를 쌓을 때 쓸 데이터 구조를 7개 필드로…
-
-
RAG 자료창고 설계 – AI주지스님 자료창고
어떤 방법으로 불교 관련 자료들을 창고에 쌓아가야 AI 주지스님이 더 적은 자원으로 더 빠른 시간에…
-
같은 질문, 다른 크기 — 1B/3B/8B가 반야심경에 답하다
RAG 파이프라인이 완성되고 나니, 기대가 하나 생겼다. 이제 참고자료가 있으니, 작은 모델이든 큰 모델이든 어느 정도는 다 괜찮게 답하지 않을까.
-
질문에서 답까지 – RAG 파이프라인, 로컬에서 완성
임베딩까지 이해했으니, 이제 RAG 파이프라인 구현의 마지막 단계 — 검색과 생성을 잇는 작업만 남았다.
-
임베딩을 오해하며 이해하기
이전 글에서 RAG를 위한 자료창고에는 자료를 ‘의미적으로 완결된 덩어리(chunk)’로 쪼개서 저장하며, 이 한 덩어리가 하나의 숫자벡터로 표시되는 임베딩의 단위가 된다고 했었다.
-
RAG 자료창고 짓기 전 알아야 할 것들
RAG는 ①코드가 자동으로 자료창고에서 게임참가자의 질문과 관련된 구절을 찾아오고(검색), ②그 구절과 게임참가자의 질문을 합쳐서 만든 프롬프트를(조립), ③인공지능 모델에게 보내서 받은 답을 주지스님의 대사로 화면에 출력(생성)해 주는 순서로 구현된다.