AI 평가 방법

AI 성능 평가란, 인공지능이 특정 작업에서 얼마나 정확하고 유용하게 작동하는지를 다양한 지표를 통해 측정하고 해석하는 과정입니다. AI는 늘 정해진 정답을 말하는 프로그램이 아니라, 인간과 비슷한 수준으로 '충분히 잘' 작동하도록 조정하는 도구입니다.

"AI는 완벽하지 않습니다. 100%가 아닌 '충분히 좋은' 성능을 목표로 해야 합니다."

완벽한 사람이 없듯이, 완벽한 AI도 없습니다.
- 인간 전문가들도 100% 정확도를 보장하지 못합니다.
- 의사도 오진, 변호사도 패소, 기상예보도 빗나갑니다.
언어와 의미는 모호합니다.
- “오늘은 좀 가볍게 가자”는 문장도
  - 점심을 간단히 먹자는 의미일 수도 있고
  - 회의를 짧게 하자는 의미일 수도 있습니다.
- 같은 질문도 맥락과 사람마다 다르게 해석할 수 있는 모호함이 존재합니다.
데이터에는 항상 한계가 있습니다.
- 세상의 모든 케이스를 학습시킬 수 없습니다.
- 예: 의료 AI도 모든 희귀질환 사례를 볼 수는 없습니다.
세상은 끊임없이 변화합니다.
- 오늘 정답이라도 내일은 틀릴 수 있습니다.
- 예: 2022년까지의 데이터를 학습한 ChatGPT 모델도 추가적인 검색 기능 없이는 2025년 현재 상황을 알 수 없습니다.

Last updated 7 months ago