네모가드레일, 특정 주제에 집중하도록 하고 유해 콘텐츠 차단

미국 반도체 기업 엔비디아는 25일(현지시간) 생성형 인공지능(AI) 챗봇의 오답을 줄이고 주제를 벗어나는 '환각'(hallucination)을 차단하는 소프트웨어를 개발했다고 밝혔다.

'네모 가드레일'(NeMo Guardrails)이라는 이름의 이 프로그램은 소프트웨어 개발자들에게 AI 모델이 사실과 다른 팩트를 말하거나, 유해한 주제에 대해 답하지 못하도록 하는 데 도움을 준다고 엔비디아는 설명했다.

이는 전 세계적으로 큰 인기를 끌고 있는 챗GPT 등 AI 챗봇이 가짜 정보를 마치 진짜인 양 제공하고 윤리적으로 문제가 되는 답을 제공하는 등 답변을 둘러싼 논란이 제기되는 가운데 나왔다.

'네모 가드레일'은 챗GPT와 같은 언어 모델 챗봇이 특정 주제에 관해서만 이야기하도록 강제하고 유해한 콘텐츠는 차단한다. 또 대규모 언어 모델(LLM)이 컴퓨터에서 유해한 명령을 실행하지 못하도록 막는다.

조나단 코언 엔비디아 응용 연구 부문 부사장은 "누군가 한 주제에 관해 이야기하면 이 방식으로만 답하라고 스크립트를 작성할 수 있다"며 "언어 모델이 프롬프트나 이용자 지시를 따르지 않을 수 있는데, 이 소프트웨어의 실행 로직은 데이터를 쉽게 변경할 수 없도록 한다"고 설명했다.

엔비디아는 기업 인사 담당자의 질문에 답하는 챗봇의 경우 이 '가드레일'을 실행하면 챗봇이 회사의 재무 성과에 대해서는 답하지 않고, 다른 직원의 개인 데이터에도 접근하지 못한다고 밝혔다.

또 '네모 가드레일'은 대규모 언어 모델을 이용해 다른 언어 모델에게 사실 확인을 요청해 '환각'을 감지하며, 다른 모델이 일치하는 답을 찾지 못하면 "모르겠다"는 답이 돌아온다고 덧붙였다.

'네모 가드레일'은 오픈 소스로, 엔비디아 서비스를 통해 제공된다고 이 반도체 기업은 설명했다.

그래픽처리장치(GPU) 개발 업체로 잘 알려진 엔비디아는 현재 AI 개발에 이용되는 전 세계 반도체 시장의 90% 이상을 장악하고 있다.

(샌프란시스코=연합뉴스) 김태종 특파원