AI

AI 응답 속도, 첫 글자와 마지막 글자는 다른 문제다

프리필과 디코드를 구분하면 추론 성능 지표가 다르게 보입니다. 첫 토큰 지연과 전체 처리량을 같은 기준으로 비교하지 않는 방법입니다.