메타, ‘토큰화’ 없애고 추론 효율 2배 높인 바이트 언어모델 'BLT' 공개

텍스트를 기존 토큰(token) 단위로 처리하는 대신 바이트(byte) 단위로 처리하는 고속 대형언어모델(LLM)이 등장했다.메타와 스탠포드대학교, 워싱턴대학교 공동 연구진은 11일(현지시간) 바이트(byte) 단위로 작동하는 차세대 언어모델 ‘BLT(Byte Latent Transformer)’의 생성 속도를 획기적으로 높이는 새로운 기법 3종을 온라인 아카이브를 통해 공개했다.연구진은 이번 기술이 토큰 기반 LLM의 한계를 극복하면서도 실용성을 크게 높일 수 있다고 설명했다.현재 대부분의 생성 AI는 ‘토큰’ 단위로 텍스트를 처