"1500달러로 LLM 사전학습"…사피언트, '트랜스포머' 넘는 새 아키텍처 공개

10억개 규모의 매개변수와 1500달러(약 220만원) 수준의 학습 비용만으로도 훨씬 큰 공개 모델들과 경쟁할 수 있는 새로운 언어모델 아키텍처가 나왔다.싱가포르의 AI 스타트업 사피언트 인텔리전스는 10일(현지시간) 계층적 순환 모델(HRM·Hierarchical Recurrent Mode)을 적용한 언어모델 ‘HRM-텍스트(HRM-Text)’를 공개했다. 모델 크기와 학습 데이터, 컴퓨팅 자원을 무작정 늘리는 기존 트랜스포머(Transformer) 아키텍처 대신, 더 적은 데이터로도 효율적으로 학습할 수 있는 새로운 아키텍처의