공유하기
TMT/IP팀 이슈리포트 - 개인정보보호위원회, ‘안전한 인공지능(AI)·데이터 활용을 위한 AI 프라이버시 리스크 관리모델’ 마련
개인정보보호위원회, ‘안전한 인공지능(AI)·데이터 활용을 위한 AI 프라이버시 리스크 관리모델’ 마련
법무법인 대륙아주 김정은1 변호사
법무법인 대륙아주 나희수 변호사
1. 들어가며
개인정보보호위원회(이하 ‘위원회’라고 합니다)는 AI 기술을 도입, 적용하면서 프라이버시 관련 내부 관리 체계를 마련, 정립, 정비하고자 하는 기업·기관 등을 대상으로 하여 ‘안전한 인공지능(AI)·데이터 활용을 위한 AI 프라이버시 리스크 관리모델(이하 ‘본 모델’이라고 합니다)’에 관한 안내서(이하 ‘안내서’라고 합니다)를 공개하였습니다. 안내서는 국내외 학계, 정부, 연구기관 등에서 논의되는 AI 데이터 처리 특성, 프라이버시 리스크 유형, 리스크 경감방안, 기업 사례 등을 안내하는 자료로서, AI 생애주기에 걸친 프라이버시 리스크 관리의 원칙과 방향 등을 체계적으로 담고 있습니다.
안내서는 AI 모델·시스템의 개발 및 제공 과정에서 파생될 수 있는 다양한 리스크 중 프라이버시 측면을 중심으로 국내외에서 논의되고 있는 리스크를 상정하였습니다. 구체적으로, AI 기술의 고유한 특성, 기능 및 데이터 요구사항 등으로 인해 새롭게 나타나거나 심화되는 정보주체 권리침해, 개인정보 보호법 위반 리스크 등을 중점적으로 다루었습니다.
이하에서는 안내서의 주요 내용을 살펴보겠습니다.
2. AI 프라이버시 리스크 관리의 절차
리스크 관리 절차는 세부적으로 다양할 수 있으나, ① AI 유형·용례 파악, ② 용례에 대응하는 리스크의 식별, ③ 리스크 측정, ④ 리스크 경감방안의 검토·도입으로 이어지는 4단계 절차가 권장됩니다.
가. AI의 유형·용례 파악
전세계적으로 통용되는 개인정보 보호 원칙은 개인정보 처리의 목적을 명확히 하고 처리 목적에 필요한 범위에서 처리할 것을 요구하고 있습니다. AI 프라이버시 리스크는 AI 모델·시스템의 목적, 범위 및 처리되는 데이터, AI 생애주기 및 서비스 목적 등 구체적 맥락에 따라 달라지므로, 개발·제공하고자 하는 AI의 유형·용례 파악이 선행되어야 합니다. 예컨대, AI 프라이버시 리스크는, 학습데이터가 수집·이용되는 기획·개발 단계, 학습이 완료된 AI와 실제 이용자 간 상호작용이 이루어지는 서비스 제공 단계 등 AI의 생애주기에 따라 달라질 수 있습니다.
나. 용례에 대응하는 리스크의 식별
안내서는 다음 표와 같이 AI 유형과 용례에 대응하는 일반 리스크와 프라이버시 리스크의 예시를 제시하였습니다.
다. 리스크의 측정
기업·기관은 적절한 지표 및 측정 도구(국제기구 및 AI 안전연구소 등에서 제공하는 “Dioptra”, “Catalogue of Tools & Metrics for Trustworthy AI”, “An open-source framework for large language model evaluations”, “Guide to Red Teaming Methodology on AI Safety” 등을 참고 할 수 있음)를 활용하여 리스크의 발생 확률, 리스크가 실현되었을 때 조직, 개인, 사회에 미치는 결과의 중대성을 정량적·정성적으로 평가하고, 리스크의 수용 가능 여부, 우선순위 등을 판단하여야 합니다.
라. 리스크 경감방안의 검토와 도입
관리적 조치의 경우 식별된 위험의 주기적인 측정 및 모니터링, 결과의 문서화, 위험 관리를 위한 담당 조직 구성·운영, 조직 내 외부의 피드백 수렴·반영 등을 포함할 수 있습니다. 기술적 조치의 경우 다양한 프라이버시 향상 기술(PET)의 도입 등을 포함할 수 있습니다.
3. 리스크의 식별
가. 기획·개발 단계
AI 시스템 기획·개발 단계는 AI 시스템의 구체적인 목적 설정, 목적 달성에 필요한 데이터 수집 기준 마련, 사용할 AI 모델 및 시스템 구성 방안 설정, 모델 학습 등이 이루어지는 단계로, PbD(Privacy by Design) 원칙을 기반으로 AI의 전체 생애주기에 걸친 리스크 관리체계의 토대를 마련하는 단계입니다.
학습데이터에 개인정보가 포함된 경우 학습데이터의 수집 및 이용은 개인정보처리에 해당하므로 AI 모델·시스템 개발자는 모델 학습 단계의 리스크를 관리할 필요가 있습니다. 한편, 타사 AI 모델을 활용할 경우, 개인정보의 불필요한 이전, 목적 외 이용, 안전성 미흡 등으로 이어질 우려가 있으므로 기획 단계에서부터 사업자간 책임분배 등을 사전 검토할 필요가 있습니다.
나. 서비스 제공 단계
AI 시스템은 AI 기반 제품, 서비스 제공을 위해 이용자로부터 데이터를 입력받아 합성콘텐츠, 평가·분류 결과 등 AI 모델의 추론 결과를 출력하며, 이 과정에서 정보주체의 권리침해가 현실화될 수 있습니다. AI 시스템의 입력 데이터, 출력 데이터에는 이용자의 사생활 등 민감한 정보가 포함되어 있을 수 있습니다.
구체적인 리스크는 AI 시스템의 목적과 서비스의 내용 등에 따라 상이하므로 개별 검토가 필요하며, AI 시스템 유형에 따른 대표적인 리스크 유형은 다음과 같습니다.
1) 학습데이터 암기 및 개인정보 유·노출 (생성 AI, 판별 AI)
악의적인 이용자가 AI 학습데이터 정보를 획득하기 위한 사이버공격을 시도할 수 있습니다. 악의적인 공격이 아니더라도, 사용자가 AI 서비스를 이용하는 과정 중 학습시 암기된 토큰이 출력단계에서 재조립되거나 역류될 가능성이 존재합니다.
2) 악의적 AI 합성콘텐츠로 인한 정보주체 권리침해 (생성 AI)
도용당한 정보주체의 개인정보자기결정권을 침해하는 딥페이크 성범죄나, 피편취자·소비자·투자자·유권자 등을 기만하는 기만적 오용이 대표적인 예시입니다.
3) 자동화된 결정으로 인한 정보주체의 권리 약화 (판별 AI)
AI 면접을 통해 지원자의 합격 여부를 결정하거나, AI를 통해 신용도를 평가하여 대출 승인 여부를 결정하는 등 개인정보에 대한 자동화된 처리가 활발히 이루어지고 있습니다. 이는 의사결정 과정의 불투명성, 개인에 대한 낙인·차별 등 프라이버시, 기본권 침해의 위험을 야기하고 있습니다.
이러한 리스크를 방지하기 위한 일환으로, 개인정보보호위원회는 ‘자동화된 결정에 대한 정보주체의 권리 안내서’를 발간하였는데, 그 내용은 “IP팀 이슈리포트 - 개인정보보호위원회, ‘자동화된 결정에 대한 정보주체의 권리 안내서’ 발간(뉴스레터 - 법무법인(유한) 대륙아주)”을 참고하실 수 있습니다.
4) 대중감시 및 민감정보 추론 위협 (판별 AI)
AI 기술은 수집·분석되는 데이터 종류 및 양을 확대하고, 관찰된 데이터 간 상관관계를 효과적으로 분석하여, 생체정보 등을 기반으로 사람의 감정 및 성적·정치적 성향 등 민감정보를 프로파일링할 수 있게 합니다. 이는 객관적인 입증 및 설명이 어려운 AI 알고리즘에 기반한 새로운 형태의 대중감시 및 민감정보 추론리스크를 유발합니다.
4. 리스크의 경감
안내서는 리스크의 경감을 위한 관리적·기술적 경감조치를 아래와 같이 제시하고 있습니다.
가. 관리적 조치
- 학습데이터 출처·이력 관리
- 안전한 보관·파기 방안 마련 및 실행
- AI 가치망 참여자간 역할 명확화
- 허용되는 이용 방침(acceptable use policy; AUP)의 작성, 공개
- AI 프라이버시 레드팀 구성·운영
- 정보주체 신고 방안 및 조치 방안 마련
- 자동화된 결정에 대한 개인정보처리자의 조치 기준 준수
- 개인정보 영향평가 수행 고려
나. 기술적 조치
- 학습데이터 전처리
- AI 모델 학습시 합성데이터 사용 고려
- 모델 미세조정을 통한 안전장치 추가
- 입력 및 출력 필터링 적용
- 차분 프라이버시 기법의 적용
- 출처 데이터 추적 및 합성콘텐츠 탐지 방안 마련
- 생체정보 활용시 가명·익명처리 기술 적용
5. AI 프라이버시 리스크 관리 체계
가. AI 프라이버시 거버넌스 구축
AI를 활용하는 기업·기관은 AI 프라이버시 리스크 관리를 위해 개인정보보호책임자(CPO) 중심의 내부 거버넌스 체계를 정비·마련하는 것이 바람직합니다. 효과적인 리스크 관리를 위해서는 조직의 사업적 요구사항과 규제 및 사회적 요구사항을 종합적으로 이해하고 있는 CPO의 역할이 중요합니다.
거버넌스 담당 조직의 규모나 구성은, CPO를 중심으로 하되 리스크에 관한 다각적, 전문적 평가가 가능하도록 다양한 분야 및 층위의 담당자로 구성하는 것이 바람직합니다.
또한, AI를 활용하는 기업·기관은 안내서를 참고하여 AI 프라이버시 리스크를 평가, 관리하는 정책을 마련하여 문서화하고 이를 이행할 필요가 있습니다. 정책에는 리스크 평가·관리의 원칙 및 절차, 지속적 이행 계획, 결과의 문서화, 최고 책임자에 대한 보고 등 구조화된 의사결정 과정, 이해관계자와의 소통 방안 등이 포함될 수 있습니다.
나. AI 가치망 내 참여자와의 협력
AI 가치망의 다양한 참여자 간 상호의존적 활동을 인지하여 각 기업·기관의 역할을 명확히 하고, 타 기업·기관과의 협력체계를 구체화하는 것이 바람직합니다. AI 모델·시스템 개발 범위 등을 기반으로 각 기업·기관의 권한, 역할 등을 정의한 후, 타 기업 및 기관과 협력체계를 구축할 필요가 있습니다.
6. 시사점
안내서는 AI가 프라이버시 친화적으로 활용될 수 있도록 AI 프라이버시 리스크 요인을 체계화하고, 리스크 관리의 방향과 원칙을 제시하기 위하여 마련되었습니다. AI를 활용하는 기업·기관 등은 안내서를 참고하여 적절한 AI 프라이버시 리스크 관리체계를 마련하는 것이 바람직합니다.
개인정보보호위원회는 AI 프라이버시 리스크 관리체계는 초기 단계에 있어 개인정보 보호 관련 법령 등의 제·개정 사항과 기술 발전을 반영하여 안내서 등을 지속적으로 수정할 예정이라고 하므로, 관련 기업들은 규제의 동향을 주의 깊게 살피고 그에 맞춰 AI 프라이버시 리스크 관리체계를 정비하는 것이 필요합니다.
