Intro
- LLM의 단점은 Hallucination(환각)이다. 즉, 이세상 모든 데이터를 db화 하여 Finetuning 하지 않는 이상 이 문제는 해결할 수 없다.
- LLM의 단점은 공유성이다. OPENAI 와 같은 특정 기업이 독점하게 된다면 Input과 Output의 결과는 계속해서 특정 기업의 학습데이터로 쓰일 것이다.
이 2 가지 단점을 해결하기 위해서 RAG 가 도움이 된다.
RAG (Retrieval-Augmented Generation)
이름에 모든 정의가 들어가있다. Generation 즉 생성기인데, 어떤것을 기반으로 하는가? 검색(Retriver)을 기반으로 생성한다.
즉, “검색”을 기반으로 한다는 말은 검색할 데이터가 있다는 뜻이고 이를 Vector db라 하자.
사용자가 원하는 데이터를 기반으로 검색하면서 LLM이 내 뱉도록 해줄 수 있다는 것이다.
Advanced_RAG (작성중)
https://arxiv.org/pdf/2312.10997