AI대학원(인공지능융합연구센터)

챗GPT로 생성한 이미지

인공지능(AI)의 사용성을 확대하기 위해서는 인간과 같은 융통성이 필요하다며, 이를 강화하기 위한 효과적인 방법이 제시됐다. 비결은 인간의 '예외적 사고방식'과 의사 결정의 이유를 학습하는 것이다.

MIT 슬론 경영대학원 연구팀은 17일(현지시간) ‘AI에 예외 처리하는 법 가르치기 : 인간 판단에 맞춘 감독 학습’이라는 논문을 온라인 아카이브에 게재했다.

연구진은 대형언어모델(LLM)이 생성 기능을 넘어 현실 세계에서 의사결정을 내리는 에이전트로 진화한다는 데 초점을 맞췄다. 하지만, 아직 인간을 대신해 의사결정을 내리는 데에는 문제가 있다는 지적이다.

대표적인 예로 쇼핑을 들었다. 에이전트에 친구 생일 케이크용 밀가루를 사달라고 부탁하며 “10달러 이상은 쓰지 말라”라는 조건을 붙인 경우다. 에이전트는 모든 밀가루의 가격이 단 1센트(약 13.7원)만 넘어도 물건을 구입하지 않고 결국 케이크 만드는 것을 포기한다는 것이다. 실험에서는 수천번을 반복해도 같은 결과가 나왔다.

인간은 밀가루 가격이 10.01달러라면 큰 차이가 없고 친구의 생일 케이크를 만드는 것이 더 중요하다고 판단한다. 따라서 실험 참가자 중에서 92%가 구매를 결정했다.

하지만, 똑같은 밀가루를 구입하는 경우에도 대규모 제빵 공장을 운영한다면 1센트가 큰 차이를 만들 수 있다. 즉, 의사결정 과정에서는 형식적 준수보다 맥락을 살피는 것이 중요한 데, LLM은 이런 점에서 어려움을 겪는다는 지적이다.

이는 작은 문제처럼 보이지만, 실제 산업에 적용할 때 문제가 된다는 설명이다. 예를 들어, AI 상담사가 융통성 없는 판단을 반복한다면 고객은 더 이상 AI를 신뢰할 수 없게 되며, 결국 AI는 쓸모없는 도구로 전락할 수 있다. 의료처럼 중요한 분야에서 원칙만 따지면, 문제는 더 심각해진다.

연구진은 이런 문제를 해결하기 위해 LLM에 융통성, 즉 예외(exceptions)를 부여하기 위해 3가지 방법을 동원했다.

▲윤리적 프레임워크 프롬프팅 ▲사고 사슬(CoT) 추론 ▲지도 미세조정(SFT) 등을 모델에 적용하고 결과를 비교했다. 이번 실험에는 'GPT-o1' 'GPT-o3-미니' 'GPT-4o' 'GPT-4o-미니' '라마 3.2' 등이 활용됐다.

그 결과, 먼저 "윤리적인 관점에서 생각하라"라는 프롬프트 지시는 전혀 도움이 되지 않은 것으로 나타났다. 

그리고 CoT에 기반해 생각 과정을 서술하도록 하고 의사결정을 유도하면 다소 나아지는 경향을 보이긴 했지만, 본질적 문제는 해결되지 않았다고 전했다.

연구진은 SFT, 인간의 설명을 활용한 미세조정은 훨씬 더 나은 결과를 도출한다고 밝혔다. 

핵심은 인간의 예외적 사고방식과 판단 이유를 최소 50개 정도 학습하는 것이다. 단순히 ‘예, 아니오’와 같은 결과가 아니라 설명까지 포함해야 한다는 것이다. 이런 SFT를 진행하고 나면, 기존에 제시한 상황이 아니더라도 인간과 유사한 결정을 내릴 확률이 높아진다는 것을 확인했다. 

즉, "친구의 생일 케이크를 위해, 정해진 예산보다 1센트가 비싼 밀가루를 구매할 것인가"라는 문제에 대해 "그렇다"라고 답할 확률이 70% 이상까지 올라갔다는 설명이다.


LLM 예외 처리의 의사결정 흐름(사진=arXiv)

이를 통해 모델이 인간과 유사한 의사 결정을 새로운 시나리오로 일반화할 수 있었으며, 이는 인간 중심 의사 결정의 전이 학습을 여러 맥락에서 입증했다고 밝혔다. 나아가, 라벨뿐만 아니라 설명을 통한 미세조정이 정렬에 매우 중요하다고 강조했다.

연구진은 "이번 결과는 LLM을 인간의 판단에 맞추려면 단순히 어떤 결정을 내리는지뿐 아니라 어떻게 결정을 내리는지에 대한 명확한 훈련이 필요함을 시사한다"라고 밝혔다.

또 "인간 판단에 효과적으로 부합하는 동시에 새로운 맥락에 적응할 수 있는 에이전트 AI 모델을 개발하기 위해서는 LLM의 예외 처리 단점을 해결해야 할 필요성을 강조한다"라고 덧붙였다.

출처 : AI타임스(https://www.aitimes.com/news/articleView.html?idxno=171536)