Chatbot Ai 데이터 시각화

아래 응답 성능은 Character 서버(8002포트)에서 Llama GGUF 8B 모델 두개를
3060TI 12GB GPU에 서빙 후, 답변을 측정한 자료입니다.

해당 응답 성능은 OpenAI API에 대한 답변 처리 속도가 아닙니다.