컴퓨터 성능

• CPU : AMD Ryzen 7 7800X3D
• RAM : 64GB DDR5 5200MT/s
• GPU : NVIDIA GeForce RTX 4070 Ti SUPER 16GB

다음 세 로그는 모델 실행(프롬프트 처리 + 응답 생성) 성능 지표

7b 성능 지표

14b 성능 지표

32b 성능 지표

• response_token/s : 초당 생성(응답) 토큰 수
• prompt_token/s : 초당 프롬프트(입력) 토큰 처리 속도
• total_duration : 전체 작업에 소요된 시간(보통 ns 단위이거나 μs 단위)
• load_duration : 모델/프롬프트를 로드하는 데 걸린 시간
• prompt_eval_count / prompt_eval_duration : 입력(prompt) 관련 평가(토큰 처리) 횟수와 시간
• eval_count / eval_duration : 전체 토큰(응답 + 추가 컨텍스트 등) 처리 횟수와 시간
• approximate_total : 사람이 읽기 편하도록 환산한 총 걸린 시간(시, 분, 초)