"욕설 막는다"…NC AI, 고객 상담 챗봇에 AI 안전성 기술 적용

엔씨소프트의 인공지능(AI) 자회사 NC AI가 엔씨소프트의 고객 상담 챗봇 서비스 ’NCER(엔써)’에 자체 개발한 AI 안전성 기술 ‘세이프가드(Safeguard)’를 정식 적용했다고 30일 밝혔다.

이는 국내 AI 기업 중 최초로 종합적인 AI 세이프티 시스템을 상용 서비스에 도입한 사례로, 전 세계적으로 AI 안전성에 대한 우려가 높아지는 가운데 선제적 대응에 나선 것이라고 회사 측은 설명했다. 

NC AI의 AI 세이프티 팀이 개발한 Safeguard 기술은 레드팀(Red Team), 블루팀(Blue Team), 퍼플팀(Purple Team)으로 구성된 삼중 보안 체계를 기반으로 운영된다. 레드팀은 제일브레이킹(Jailbreaking) 등 새로운 악성 공격 패턴을 연구하고, 블루팀은 이에 대한 방어 기술을 개발하며, 퍼플팀은 두 팀의 결과를 종합해 정책에 반영하는 순환 구조로 설계됐다.

특히 NC AI는 엔씨소프트의 퍼블리싱코디네이션 센터와의 협업을 통해 게임 업계 특성을 반영한 ‘챗봇 네거티브 규제 정책’을 수립했다. 이 정책에는 게임 서비스 관련 부적절한 내용, 유료 재화 관련 편법, 금지 행위 등이 포함되어 일반적인 AI Safety 기준을 넘어선 산업 맞춤형 보안을 구현했다.

NCER는 지난 2024년 AI 기술 & 게임데이터 기반 CS 효율화 및 고객 만족도 향상을 위해 출시한 서비스다. 주요 게임에서 이용자들의 실시간 문의,  버그 제보, 건의사항 접수 등을 담당하고 있다. 

Safeguard 기술이 적용된 NCER는 ML Commons와 국제 벤치마크 연구에서 제시하는 차별, 혐오, 욕설, 외설 등의 일반적 부적절 내용 차단 기준을 충족하면서도, 게임 산업 고유의 안전 요구사항을 추가로 반영한 것이 특징이다. 특히 실시간 대화 환경에서 발생할 수 있는 다양한 위험 상황을 사전에 탐지하고 즉시 차단하는 성능을 입증했다.

실제 게임 서비스에서도 NC AI의 안전성 기술이 활용되고 있다. ‘리니지W’와 ‘리니지2M’에서는 13개 언어의 광고 패턴을 탐지하고 차단하는 스팸 필터링 시스템이 운영 중이며, 게임 내 채팅 환경의 건전성 유지에 핵심적인 역할을 담당하고 있다.

NC AI는 현재의 텍스트 기반 안전성 기술을 Vision-Language Model(VLM) 기반의 멀티모달 콘텐츠 탐지로 확장할 계획이라고 밝혔다. 이를 통해 이미지, 동영상 등에서 발생할 수 있는 부적절한 내용까지 포괄적으로 차단하는 차세대 AI Safety 시스템을 구축한다는 목표다.

이연수 대표는 “이번 Safeguard 기술 적용은 NC AI가 AI 안전성 분야에서 기술적 우위를 확보하고, 책임감 있는 AI 개발 기업으로서의 위치를 공고히 하는 중요한 출발점”이라며 “앞으로도 기술 독립과 산업 실증, 글로벌 공헌을 동시에 실현하는 대한민국 AI 전문 기업으로서의 소명을 다할 것”이라고 강조했다.