RAG 자료창고 구축: 대반열반경 청크 만들고 검증하기
지난 글 요약 지난 글에서는 불교 자료창고에 자료를 쌓을 때 쓸 데이터 구조를 7개 필드로…
-
-
RAG 자료창고 설계 – AI주지스님 자료창고
어떤 방법으로 불교 관련 자료들을 창고에 쌓아가야 AI 주지스님이 더 적은 자원으로 더 빠른 시간에…
-
한 텀을 돌고 나서 – walkthrough 후기
(이 글은 마인크래프트 AI주지스님 워크스루 1~7편에서 이어지는 글이다.) 워크스루로 시작한 이유 마인크래프트에 SLM으로 주지스님을 만들어…
-
최예진 교수의 SLM과 AI 민주화 — 강연 정리
어느 날 우연히 보고 가슴이 뛰었다던, 최예진 교수의 영상들이다. 최예진 교수는 스탠퍼드대 인간중심 AI 연구소(HAI)…
-
같은 질문, 다른 크기 — 1B/3B/8B가 반야심경에 답하다
RAG 파이프라인이 완성되고 나니, 기대가 하나 생겼다. 이제 참고자료가 있으니, 작은 모델이든 큰 모델이든 어느 정도는 다 괜찮게 답하지 않을까.
-
질문에서 답까지 – RAG 파이프라인, 로컬에서 완성
임베딩까지 이해했으니, 이제 RAG 파이프라인 구현의 마지막 단계 — 검색과 생성을 잇는 작업만 남았다.
-
임베딩을 오해하며 이해하기
이전 글에서 RAG를 위한 자료창고에는 자료를 ‘의미적으로 완결된 덩어리(chunk)’로 쪼개서 저장하며, 이 한 덩어리가 하나의 숫자벡터로 표시되는 임베딩의 단위가 된다고 했었다.
-
RAG 자료창고 짓기 전 알아야 할 것들
RAG는 ①코드가 자동으로 자료창고에서 게임참가자의 질문과 관련된 구절을 찾아오고(검색), ②그 구절과 게임참가자의 질문을 합쳐서 만든 프롬프트를(조립), ③인공지능 모델에게 보내서 받은 답을 주지스님의 대사로 화면에 출력(생성)해 주는 순서로 구현된다.
-
RAG는 결국 ‘프롬프트를 잘 만들어 주는 도구’네
llama 3B와 8B 모델로 RAG 테스트한 결과를 보면 지금 상태에선 8B 모델을 이용해야 할 것 같다. 내가 어제 RAG를 테스트하기 위해 SLM에 참고자료를 준 방법은,
-
SLM에게 참고자료를 줬더니, 3B와 8B가 다르다 – Llama 3B vs. 8B RAG 테스트 비교
오늘은 SLM으로 RAG 테스트(Retrieval-Augmented Generation, 검색증강생성)를 했다. RAG 테스트 결과에 관해 정리하기 전에, 먼저 지난 번 서피스프로8에서 SLM 중 llama와 quen의 1.5B, 3B모델로 테스트 해본 결과를 간략히 보면.