AI대학원(인공지능융합연구센터)

오픈AI·구글·네이버클라우드·마이크로소프트(MS) 등 인공지능(AI) 기업들의 AI 프라이버시 위험에 대한 기술적 대응이 공유됐다.

15일 글로벌 프라이버시 총회(GPA) 개막에 앞서  서울 그랜드 하얏트 호텔에서 열린 사전 부대행사 ‘오픈소스데이’에서 구글, MS, 오픈AI, 셀렉트스타, AMI 인텔리전스 등 글로벌 오픈소스 모델·솔루션 기업들이 참여해 오픈소스 AI와 프라이버시를 주제로 안전한 활용 방안을 논의했다.

오픈소스 생태계가 확장하면서 AI 개발 활용 과정에서 개인정보와 민감정보가 유출 오남용되지 않도록 사전에 방지하는 기술과 정책적인 가이드라인이 중요해졌다. 기업들은 기술적으로 사전에 적대적 프롬프트에 반응하지 않도록 필터링을 하는 것과 동시에 레드팀을 운영해 위험에 대해 대처하고 있다.

◇ AI 민감정보 생성·노출 차단

오픈소스 기반의 대규모언어모델(LLM)이 확산되면서 AI가 민감한 개인정보를 생성하거나 노출하는 문제에 대한 우려도 함께 커지고 있다. 이날 행사에 참여한 기업들은 AI가 민감한 정보에 대답하지 않도록 하는 기술이 중요하다고 강조했다.

AMI는 금융·통신 등 민감 정보가 집중된 산업에서 AI를 안전하게 도입하기 위한 솔루션을 소개했다. 김하늘 AMI 담당은 “AI가 민감정보를 생성하지 않도록 입력·출력 단에서 실시간 필터링 체계를 구축하는 것이 핵심”이라고 밝혔다. AMI는 ‘AIMRED’, ‘AIMGUARD’ 등을 활용해 국내 환경에 맞춰 고도화해 민감 응답 차단 정확도를 90%에서 99%까지 향상시킨 사례를 공유했다. 

오픈AI는 최근 공개한 오픈소스 모델(GPT-OSS-20B/120B)의 안전성 확보를 위해 “사전 안전성 평가, 외부 전문가 리뷰, 레드팀 실험 등 다층적인 점검 체계를 도입했다”며 “모델이 바이오, 사이버보안 등 고위험 영역에서 유출 및 오남용되지 않도록 철저히 테스트했으며 민감정보가 학습되거나 재사용되지 않도록 정책을 수립했다”고 강조했다.

MS 역시 자사 플랫폼(Azure AI Foundry)을 통해 모델 선택부터 배포, 운영까지 프라이버시와 보안이 기본 내장된 통합 거버넌스 체계를 소개했다. MS는 “AI는 단일 모델이 아니라, 에이전트와 애플리케이션을 통해 가치를 실현하는 도구”라며 “그 과정에 있어 안전성과 책임성이 반드시 전제돼야 한다”고 말했다.

구글도 Vertex AI 플랫폼을 통해 신용카드·이메일 등의 민감정보를 탐지하는 기능과 프롬프트 최적화·품질 평가 도구를 통해 LLM 출력 안정성 확보 방안을 소개했다.

◇ 프라이버시, 단순 보호 아닌 통합 설계 필요

이날 발표에 참여한 기업들은 공통적으로 AI 프라이버시를 입력·출력 단계의 민감정보 탐지와 재학습 방지뿐만 아니라 전 과정에서의 책임 설계를 마려하고 대응해야 한다고 강조했다.

오픈AI는 “오픈소스 모델은 혁신의 기반이지만, 회수 불가 특성으로 인해 출시 전 단계의 안전성 테스트와 책임 설계가 핵심”이라며 “오픈AI 모델은 악의적 시나리오에서도 고위험을 넘지 않도록 하고 있다”고 말했다. 이어 “AI 생태계에서 협력과 투명성, 커뮤니티가 중요하다”고 강조했다.

마이크로소프트도 애저(Azure) AI 파운드리 플랫폼 내 데이터 암호화·접근 통제 기능, 그리고 에이전트 기반 AI 서비스 사례를 통해 실무적 보안 모델을 소개하면서 “모델, 도구, 안전 및 모니터링 솔루션을 하나의 플랫폼으로 통합한다”며 “AI는 단일 모델이 아니라 애플리케이션과 에이전트를 통해 비즈니스 가치를 실현하는 도구이며 이를 위해 안전성과 거버넌스가 기본이 돼야 한다”고 강조했다.

정주환 네이버클라우드 에반젤리스트는 데이터셋과 벤치마크에 대한 안전성을 강조했다. “AI가 대답하면 안 되는 질문을 모아 걸러내는 기술”이라며 “AI가 얼마나 파편적인 응답을 하는지도 벤치마크 평가를 통해 공개하고 있다”고 말했다.

셀렉트스타는 자사의 AI 신뢰성 검증 솔루션 DATUMO Eval과 한국형 벤치마크 사례를 통해 데이터 검증과 성능 평가를 병행한 통합 대응의 필요성을 제시했다. 황민영 셀렉트스타 부사장은 “성능 좋은 모델 쓰는것과 시스템 차원에서 안전을 보장하는 것은 별개”라며 “환각 방지, 안전 기준 충족, 규제 준수가 핵심”이라고 말했다. 이어 “AI로 AI를 평가하는 방식의 솔루션을 제공하고 있다”며 “오픈소스 데이터셋과 평가 툴을 꾸준히 공개했다”고 언급했다.

출처: https://www.newstheai.com/news/articleView.html?idxno=9038