• Home
  • About
    • back
    • Seokmin.Lee photo

      Seokmin.Lee

      Hello, I am a master's student in the Department of Convergence Security (Samsung Advanced Security) at Korea University.After graduation, I am expected as a security developer or researcher member of Samsung SDS.

    • Learn More
    • LinkedIn
    • Github
  • Posts
    • back
    • All Tags

[llm] 선행연구 rag

27 Jun 2024

Intro

  1. LLM의 단점은 Hallucination(환각)이다. 즉, 이세상 모든 데이터를 db화 하여 Finetuning 하지 않는 이상 이 문제는 해결할 수 없다.
  2. LLM의 단점은 공유성이다. OPENAI 와 같은 특정 기업이 독점하게 된다면 Input과 Output의 결과는 계속해서 특정 기업의 학습데이터로 쓰일 것이다.

이 2 가지 단점을 해결하기 위해서 RAG 가 도움이 된다.

RAG (Retrieval-Augmented Generation)

이름에 모든 정의가 들어가있다. Generation 즉 생성기인데, 어떤것을 기반으로 하는가? 검색(Retriver)을 기반으로 생성한다.

즉, “검색”을 기반으로 한다는 말은 검색할 데이터가 있다는 뜻이고 이를 Vector db라 하자.

사용자가 원하는 데이터를 기반으로 검색하면서 LLM이 내 뱉도록 해줄 수 있다는 것이다.

Advanced_RAG (작성중)

https://arxiv.org/pdf/2312.10997

언젠간



LLMRAGAdvanced_RAG Share Tweet +1