RAG 시대 끝나나...'1200만 토큰' 컨텍스트 창 제공하는 모델 출시

입력 길이에 따라 연산량이 기하급수적으로 증가하는 기존 트랜스포머의 구조적 한계를 벗어나, 연산량이 선형적으로 증가하는 새로운 아키텍처가 등장했다. 이를 통해 구현한 컨텍스트 창의 크기는 무려 1200만 토큰에 달한다.미국 스타트업 서브쿼드래틱은 5일(현지시간) 새로운 ‘서브쿼드래틱(subquadratic)’ 아키텍처를 적용한 대형언어모델(LLM) ‘서브Q 1M-프리뷰(SubQ 1M-Preview)’를 공개했다. 트랜스포머 기반 모델은 문장 내 모든 토큰을 서로 비교하는 어텐션(attention) 메커니즘을 사용한다. 이로 인해 입