오케스트로, GPU 활용률 높이는 AI 추론 운영 플랫폼 ‘콘체르토 AI’ 공개

AI·클라우드 전문 오케스트로(대표 김범재, 김영광)는 GPU 인프라의 활용 효율을 높이는 AI 추론 운영 플랫폼 ‘콘체르토 AI(CONCERTO A.I.)’를 출시했다고 29일 밝혔다.콘체르토 AI는 에이전트형 AI 확산에 따라 급증하는 추론 트래픽에 대응하고 GPU 자원을 효율적으로 운영하도록 설계됐다. 대규모 추론 요청을 분산 처리하고 GPU와 NPU 등 가속기 자원을 작업 특성에 맞춰 배분, 보유 인프라의 활용 효율을 높여주는 것이 특징이다. 분산 서빙을 통한 추론 최적화가 핵심이다. 기존에는 질문을 분석하는 작업과 답변을