Hallucination 할루시네이션 환각 이란

Gemini CLI 테스트 자동화 도입의 최대 난제,  Hallucination  환각

Hallucination

생성형 AI 모델에서 주어지는 옳지 않거나 잘못된 응답을 가리킨다. 그럴듯 하지만 틀린 답변을 의미한다. 

유명한 예로는 세종대왕 맥북 사건이 있다. 

 

환각의 원인

LLM은 “모른다”라는 상태를 기본적으로 가지려고 하지 않고, 항상 가장 그럴듯한 답을 생성하려고 시도한다. 

 

학습 및 평가 방식의 구조적 문제:  현재의 평가 방식에서 잘못된 인센티브를 설정했기 때문이다. 정답을 모르더라도 과감하게 추측해서 운이 좋으면 정답을 맞힐 수도 있다. 객관식 시험에서 답안지를 비워 두면 0점이지만, 어떤 답안이라도 적어 낸다면, 정답 확률은 20%가 된다. 

OpenAI의 연구 논문⁠에서는 언어 모델 환각이 표준 훈련 및 평가 절차가 불확실성을 인정하는 것보다 추측을 보상하기 때문이라고 논한다.

 

학습 데이터의 한계: AI 모델은 사람이 모두 검토하기에 불가능할 만큼 많은 데이터를 필요로 하기 때문에 학습 데이터를 검토하기가 어렵다. 검토되지 않은 학습 데이터는 정확하지 않거나 특정 방향으로 너무 높게 가중치가 부여될 수 있다. 

 

생성형 AI 디자인의 고유한 한계: AI 모델은 확률을 사용하여 어떤 단어나 시각적 요소가 함께 나타날지 '예측'한다. 통계 분석은 그럴듯해 보이는 콘텐츠, 즉 사람이 이해할 가능성이 높은 콘텐츠를 생성하는 데에는 도움이 될 수 있지만  통계 분석은 수학적 과정이므로 언어와 의미의 일부 미묘한 차이를 놓치면서 할루시네이션을 일으킬 수 있다. 

 

물리적 세계에 대한 직접적인 경험 부족: 오늘날의 AI 프로그램은 외부 현실에서 무엇이 참, 진실인지 여부를 감지할 수 없다. 예를 들어 인간은 과학 원리가 참인지 거짓인지 결정하기 위한 실험을 수행할 수 있지만, 현재 AI는 물리적 우주가 아니라 기존 콘텐츠에 대해서만 스스로 학습할 수 있다. 따라서 특히 자체 응답에서 정확한 데이터와 부정확한 데이터를 구분하는 데 어려움을 겪는다. 

 

맥락을 이해하는 데 어려움: AI는 문자 그대로의 데이터만 보고 문화적, 감정적 맥락을 이해하지 못할 수 있으므로 관련 없는 응답과 AI 할루시네이션을 초래할 수 있다. 편향성: 데이터 세트가 충분히 광범위하지 않으면 사용된 학습 데이터로 인해 내재적인 편향이 발생할 수 있다. 이러한 편향 때문에 AI 모델은 특정 종류의 답을 제시하도록 AI 모델을 왜곡할 수 있다

 

모델에 대한 공격: 악의적인 사람이 프롬프트 삽입 공격을 사용하여 생성형 AI 모델이 프롬프트를 인식하고 결과를 생성하는 방식을 변경할 수 있습니다. 

 

과적합: AI 모델이 초기 학습 데이터 세트로 너무 많은 학습을 거치면 일반화하거나 추세를 감지하거나 새 데이터에서 정확한 결론을 도출하는 기능이 손실될 수 있다. 또한 학습 데이터에서 실제로는 중요하지 않은 패턴을 감지하여 새로운 데이터가 입력되기 전까지는 명백히 알아차리기 어려운 오류를 야기할 수도 있다. 

과적합이란?
과적합은 AI 모델이 단일 데이터 세트에 과도하게 학습되어, 새로운 데이터가 주어졌을 때 오해나 부정확한 결과를 초래하는 경우를 말한다.

 

모호한 질문: 입력 질문이나 프롬프트가 모호한 경우, 모델은 가장 가능성이 높은 해석이라고 생각하는 것을 기반으로 응답을 생성할 수 있으며, 이는 사용자의 의도와 일치하지 않을 수 있다. 

 

 

환각 예방 방법

완전히 제거하는 것은 불가능하지만, 부절확성을 줄이기 위해 취할 수 있는 구체적인 조치는 있다. 

 

크고 다양한 데이터 세트 :다양한 출처에서 가져온 대규모 데이터 세트는 편향을 제거하고 모델이 더 다양한 데이터에서 추세와 패턴을 감지하는 방법을 학습하는 데 도움이 될 수 있다. 

 

과적합 방지: 개발자는 하나의 데이터 세트로 AI 모델을 너무 많이 학습시키지 않도록 해야한다.

광범위한 테스트: AI 모델은 다양한 컨텍스트에서 예기치 않은 프롬프트를 표시하는 방식으로 테스트를 거쳐야 한다. 

사용 사례에 맞게 설계된 모델 사용: 예를 들어 LLM 챗봇은 의료 연구에 관한 사실에 입각한 응답하는 데에는 적합하지 않을 수 있다.

지속적인 개선: 아무리 정교한 모델이라도 사각지대가 있을 수 있습니다. AI 모델은 수신된 프롬프트를 통해 계속 학습해야 합니다(프롬프트 삽입 공격을 방지하기 위한 유효성 검사 수행).

가드레일 지시:  질문에 답할 만큼 충분한 정보가 없을 경우 이를 명확히 밝히도록 챗봇에 지시

 

 

 

100%의 정확도를 가진 모델은 환각을 일으키지 않으므로, 정확도를 개선하면 환각이 제거된다. 하지만 모델 규모, 검색, 추론 기능과 관계없이, 실제 질문 중에는 본질적으로 답변 불가능한 질문이 있으므로 정확도 100%를 달성할 수 없다.
환각은 일어날 수 밖에 없는 것으로 생각이 된다. 

환각을 제거하기 보단, 불확실한 답변은 포기하게 엔지니어링 하는 것이 이 문제점의 솔루션 같다.