AI 추론

추론(Inference)

추론이란?

• 이미 학습을 마친 AI가 실제 상황에서 판단하고 결과를 내놓는 과정

• 학습 때 익힌 지식을 바탕으로 새로운 데이터에 대한 답변 제공

일상생활 예시

• 의사가 실제 환자의 X-ray를 보고 진단하는 것과 유사

• 운전면허를 딴 후 실제 도로에서 운전하는 것

주요 특징

• ✅ 상대적으로 적은 컴퓨팅 파워: 학습보다는 적지만 여전히 GPU 필요

• ✅ 빠른 응답 시간: 사용자는 빠른 응답을 기대함 (보통 수 초 이내)

• ✅ 24시간 가동: 서비스가 항상 제공되어야 함

• ✅ 안정성 중요: 오류 없이 일관된 결과 제공 필요

GPU 사용량 예시

대형 AI 모델 추론 시

• ChatGPT 대화 1회: 1~4대의 GPU 사용 (일시적)

• 사용자 100명 동시 이용: 수십~수백 대 GPU 필요

중소형 AI 모델 추론 시

• 이미지 인식 1회: GPU 일부만 사용

• 경우에 따라 CPU만으로도 가능한 경우 존재