공부방

1. Introductiondual encoder 기반의 모델을 통해, 딥러닝 기반의 검색 모델이 발달하지만, 검색기가 특정 도메인에서 학습이 되었더라도, 다른 도메인에서는 좋은 성능을 보이지 않을 수 있음BEIR 벤치마크는 이러한 문제점을 지적하며 학습 데이터가 없는 상황(zero-shot)에서 검색 성능을 측정하는 벤치마크본 논문에서는 학습 데이터가 적은 상황에서 학습 데이터를 augmentation 하기 위해 LLM을 사용LLM을 통해 생성된 query-document pair에 대한 검증을 위해 round-trip consistency 적용 2. Few-shot Retrieval Task2.1 Retrieval TaskRetrieval은 각 도메인이 가지고 있는 documents D, 사용자 질의..

1. IntroductionLLM의 발전에 따라 검색에도 LLM의 언어 능력을 활용하고자 시도LLM에 query를 입력했을 때 직접적으로 document에 대한 유사도를 생성하도록 하는 접근 방법RankGPT는 query가 주어졌을 때, document들의 유사도를 기반으로 id가 생성되도록 reranking 하는 모델LLM 기반의 모델들은 corpus 내의 모든 document에 대해서는 수행 시간이 너무 오래 걸리기 때문에 reranking 정도만 가능본 논문에서는 LLM을 이용하여 임베딩을 만들고 이를 dual-encoder 구조에 활용하여 검색을 수행 2. MethodLLM에 주어진 query/document를 한 단어로 표현해달라는 prompt를 입력입력된 prompt를 바탕으로 생성된 마지막 ..

최근 중국에서 혜성같이 등장하면서 주식 시장에 큰 파장을 끌고 왔던 DeepSeek 논문에 대해서 리뷰 1. Introduction최근 모델의 성능을 높이기 위해서 모델 학습을 길게 가져가게 하기 보다는 모델이 Chain-of-Thought(COT) 과정을 길게 가져가도록 하는 방향이 연구COT는 사고가 필요한 태스크(수학, 코딩 등)의 성능 향상에 효과적본 논문에서는 COT를 통한 모델 사고 능력의 확장을 강화학습을 통해 이뤄내고자 한다논문에서 비슷한 이름의 모델이 등장해서 먼저 정리하고 들어가자면DeepSeek-V3-Base: 강화학습을 진행하기전의 모델DeepSeek-R1-Zero: DeepSeek-V3-Base에 강화학습을 적용하여 학습한 모델DeepSeek-R1: DeepSeek-R1-Zero를..