스타트업뉴스AI타임스
RAG 시대 끝나나...'1200만 토큰' 컨텍스트 창 제공하는 모델 출시
2026년 5월 6일0 조회
프리세일즈 활용 메모
이 IT피드는 공공조달 제안서 작성 시 시장동향, 기술 트렌드, 정책 환경 근거로 참고할 수 있도록 수집한 자료입니다.
입력 길이에 따라 연산량이 기하급수적으로 증가하는 기존 트랜스포머의 구조적 한계를 벗어나, 연산량이 선형적으로 증가하는 새로운 아키텍처가 등장했다. 이를 통해 구현한 컨텍스트 창의 크기는 무려 1200만 토큰에 달한다.미국 스타트업 서브쿼드래틱은 5일(현지시간) 새로운 ‘서브쿼드래틱(subquadratic)’ 아키텍처를 적용한 대형언어모델(LLM) ‘서브Q 1M-프리뷰(SubQ 1M-Preview)’를 공개했다. 트랜스포머 기반 모델은 문장 내 모든 토큰을 서로 비교하는 어텐션(attention) 메커니즘을 사용한다. 이로 인해 입