한 텀을 돌고 나서 – walkthrough 후기
(이 글은 마인크래프트 AI주지스님 워크스루 1~7편에서 이어지는 글이다.) 워크스루로 시작한 이유 마인크래프트에 SLM으로 주지스님을 만들어…
-
-
같은 질문, 다른 크기 — 1B/3B/8B가 반야심경에 답하다
RAG 파이프라인이 완성되고 나니, 기대가 하나 생겼다. 이제 참고자료가 있으니, 작은 모델이든 큰 모델이든 어느 정도는 다 괜찮게 답하지 않을까.
-
질문에서 답까지 – RAG 파이프라인, 로컬에서 완성
임베딩까지 이해했으니, 이제 RAG 파이프라인 구현의 마지막 단계 — 검색과 생성을 잇는 작업만 남았다.
-
임베딩을 오해하며 이해하기
이전 글에서 RAG를 위한 자료창고에는 자료를 ‘의미적으로 완결된 덩어리(chunk)’로 쪼개서 저장하며, 이 한 덩어리가 하나의 숫자벡터로 표시되는 임베딩의 단위가 된다고 했었다.
-
RAG 자료창고 짓기 전 알아야 할 것들
RAG는 ①코드가 자동으로 자료창고에서 게임참가자의 질문과 관련된 구절을 찾아오고(검색), ②그 구절과 게임참가자의 질문을 합쳐서 만든 프롬프트를(조립), ③인공지능 모델에게 보내서 받은 답을 주지스님의 대사로 화면에 출력(생성)해 주는 순서로 구현된다.
-
RAG는 결국 ‘프롬프트를 잘 만들어 주는 도구’네
llama 3B와 8B 모델로 RAG 테스트한 결과를 보면 지금 상태에선 8B 모델을 이용해야 할 것 같다. 내가 어제 RAG를 테스트하기 위해 SLM에 참고자료를 준 방법은,
-
SLM에게 참고자료를 줬더니, 3B와 8B가 다르다 – Llama 3B vs. 8B RAG 테스트 비교
오늘은 SLM으로 RAG 테스트(Retrieval-Augmented Generation, 검색증강생성)를 했다. RAG 테스트 결과에 관해 정리하기 전에, 먼저 지난 번 서피스프로8에서 SLM 중 llama와 quen의 1.5B, 3B모델로 테스트 해본 결과를 간략히 보면.
-
서피스프로8에서 SLM 가볍게 테스트 – Ollama로 1.5B~3B 모델 로컬 실행해보기
서프야, 내가 오해했다.
난 2019년산 LG그램, 서피스프로8을 가지고 있다.