최근 X(구 트위터)의 챗봇 그록(Grok)에서 불거진 선정적인 이미지 생성 문제로 인해, 딥페이크 콘텐츠를 차단하기 위한 플랫폼의 역할에 대한 논쟁이 뜨겁습니다. 그러나 인공지능 모델 공유 플랫폼인 ‘시비타이(Civitai)’의 사례는 이보다 훨씬 복잡하고 심각한 윤리적 딜레마를 보여주고 있습니다. 단순히 완성된 콘텐츠를 막는 것을 넘어, 유해 콘텐츠를 생성하는 ‘도구’ 자체가 거래되는 시장이 형성되어 있기 때문입니다.
LoRA, 딥페이크 확산의 은밀한 통로
시비타이는 일반적인 이미지, 비디오, 모델뿐만 아니라 ‘LoRA(Low-Rank Adaptation)’라는 특수 학습 파일을 거래하는 장터로 기능합니다. LoRA는 스테이블 디퓨전(Stable Diffusion)과 같은 주류 AI 모델이 훈련받지 않은 특정 콘텐츠를 생성하도록 ‘코치’하는 역할을 합니다. 연구 결과에 따르면, 시비타이에서 이루어진 딥페이크 관련 요청의 무려 86%가 이 LoRA 파일을 위한 것이었습니다.
놀라운 점은 이러한 LoRA 요청의 구체성과 대담함입니다. 인플루언서 찰리 다멜리오(Charli D’Amelio)나 가수 그레이시 아브람스(Gracie Abrams)와 같은 유명인의 ‘고품질’ 모델을 요구하며 소셜 미디어 프로필까지 첨부하는 경우가 흔했습니다. 심지어 신체 전체를 생성하거나, 문신을 정확히 재현하고, 머리 색깔을 바꾸는 등의 상세한 요구 사항도 제시되었습니다. 특정 ASMR 아티스트를 표적으로 삼거나, 심지어 ‘사용자의 아내’를 대상으로 한 딥페이크 요청까지 있었습니다. 이러한 요청에 부합하는 AI 모델을 제공한 사용자에게는 0.50달러에서 5달러까지의 보상이 지급되었고, 딥페이크 현상금의 약 92%가 실제로 지급된 것으로 확인되었습니다.
플랫폼의 모순된 정책과 책임
시비타이는 과거 실존 인물의 성적으로 노골적인 딥페이크만을 금지했으나, 2025년 5월 모든 딥페이크 콘텐츠를 금지한다고 발표했습니다. 그러나 MIT 테크놀로지 리뷰의 확인 결과, 이러한 금지 조치 이전에 제출된 수많은 딥페이크 요청들은 여전히 활성화되어 있으며, 해당 요청을 충족시킨 모델들도 계속해서 구매 가능한 상태입니다. 더욱 우려스러운 점은 시비타이가 이미지 생성기의 출력을 외부 도구와 결합하여 맞춤화하는 방법(예: 포즈 변경)에 대한 교육 자료를 제공할 뿐만 아니라, 모델이 포르노를 생성하도록 지시하는 방법에 대한 사용자 작성 기사까지 호스팅하고 있다는 사실입니다.
스탠포드 사이버 정책 센터의 매튜 드베르나(Matthew DeVerna) 연구원은 “시비타이는 이러한 문제들을 촉진하는 인프라를 제공할 뿐만 아니라, 사용자에게 그것을 활용하는 방법을 명시적으로 가르치고 있다”고 비판했습니다. 실제로 플랫폼 내 음란물 양은 증가했으며, 매주 요청의 대부분이 NSFW(직장 부적합) 콘텐츠를 위한 것으로 나타났습니다.
에디터의 시선
시비타이의 사례는 인공지능 시대에 플랫폼이 직면한 윤리적 딜레마와 규제 공백을 여실히 보여줍니다. 완성된 콘텐츠가 아닌, 콘텐츠를 생성할 수 있는 ‘도구’ 자체를 거래하는 시장은 기존의 콘텐츠 규제 프레임워크로는 접근하기 어려운 새로운 도전 과제를 제시합니다. LoRA와 같은 미세 조정 모델은 오픈소스 AI의 강력한 잠재력을 보여주지만, 동시에 오남용될 경우 파괴적인 결과를 초래할 수 있음을 입증하고 있습니다.
이러한 현상은 단순히 시비타이만의 문제가 아닙니다. 모든 생성형 AI 플랫폼은 기술의 개방성과 혁신을 추구하면서도, 그로 인해 발생할 수 있는 사회적, 윤리적 위험에 대한 심각한 책임을 인지해야 합니다. 눈에 보이는 불법 콘텐츠를 삭제하는 것만으로는 부족하며, 문제의 근원인 ‘생성 도구’ 자체의 오용 가능성까지 고려한 보다 선제적이고 강력한 정책이 필요합니다. 플랫폼은 단순히 중립적인 기술 제공자가 아니라, 사회적 영향력에 대한 명확한 윤리적 기준을 세우고, 기술적·정책적 방어막을 구축해야 할 의무가 있습니다.
정부와 사회 또한 딥페이크 생성 도구와 관련된 규제 공백을 시급히 메워야 합니다. 기술의 발전 속도가 법과 제도를 앞서는 현실에서, 우리는 AI 기술이 인류에게 가져올 긍정적인 가치를 극대화하면서도, 그 어두운 면이 사회를 병들게 하지 않도록 지혜를 모아야 할 때입니다. 시비타이의 사례는 AI 윤리 및 책임에 대한 끊임없는 논의와 행동을 촉구하는 강력한 경고음입니다.