"두배 크기 트랜스포머 모델과 같은 성능 제공"...새로운 아키텍처 ‘파르카에’ 등장

동일한 매개변수 수와 동일한 학습 데이터 조건에서도 기존 트랜스포머를 능가하는 새로운 아키텍처가 주목받고 있다.UC 샌디에고와 투게더 AI 연구진은 14일(현지시간) 루프형(looped) 구조를 적용한 트랜스포머 ‘파르카에(Parcae)’를 온라인 아카이브를 통해 공개했다. 대형언어모델(LLM)의 성능을 높이는 전통적인 방법은 더 많은 연산(FLOPS), 더 많은 매개변수, 더 많은 학습 데이터를 투입하는 것이었다. 그러나 최근에는 모델이 클라우드뿐 아니라 엣지 디바이스로 확장되고, 추론(inference) 비용이 급증하면서 새로운