샤오미, 일반 GPU로 1조 매개변수 모델서 '초당 1000토큰' 돌파

샤오미가 대형 AI 모델의 추론 속도를 획기적으로 끌어올린 새로운 기술을 공개했다. 샤오미는 8일(현지시간) 공개한 모델 ‘미모-V2.5-프로-울트라스피드(MiMo-V2.5-Pro-UltraSpeed)’를 통해 1조 매개변수 규모 모델에서 초당 1000개 이상의 토큰을 생성하는 데 성공했다고 발표했다. 이는 범용 GPU 환경에서 달성된 최초의 사례라고 주장했다.AI 업계에서는 최근 모델 성능뿐 아니라 추론 속도가 새로운 경쟁 지표로 부상하고 있다. 모델이 아무리 뛰어난 추론 능력을 갖추더라도 응답 속도가 느리다면 실제 서비스 활용에