Head of Data Office and Platform AI
오늘날 비즈니스 리더는 운영 효율성을 높이고 비용을 절감하며, 전략적 의사 결정을 개선하고 고객 참여를 지원할 수 있는 기업 인공 지능(AI) 솔루션을 찾고 있습니다.
Gartner에 따르면, 2026년까지 80% 이상의 기업이 API(Application Programming Interfaces)를 통하거나 어플리케이션을 배포하여 생성형 AI(GenAI)를 사용할 것으로 예상하며, 이는 2023년의 5% 미만에 비해 많이 증가한 수치입니다. 그러나 오늘날 데이터 프라이버시에 대한 우려가 커지면서 기업은 고객과 기업 데이터 및 자산을 안전하게 보호하기 위한 AI 솔루션이 필요합니다. 그렇다면 이 솔루션은 무엇일까요?
바로 '프라이빗 AI'입니다. 이 아티클에서는 프라이빗 AI란 무엇인지, 데이터 프라이버시에 민감한 조직에 어떤 이점이 있는지, IT 리더가 프라이빗 AI 도입을 최대화할 수 있는 방법을 설명하겠습니다.
프라이빗 AI란 무엇인가요?
최근 인기 있는 GenAI 모델인 ChatGPT 및 Copilot과 같은 도구들은 데이터 분석, 고객과의 상호 작용, 출력 매칭 애플리케이션 구동 등 기업이 다양한 작업을 수행할 수 있도록 지원합니다.
그러나 이러한 AI 모델은 사용자의 데이터가 어디로 이동하는지, 또는 데이터가 어떻게 사용되는지에 대한 투명성이 부족하며, 개인정보 보호에 대한 우려를 불러일으킵니다. GenAI 모델을 사용하는 열성적인 비즈니스 리더는 민감한 개인정보가 제3자와 공유되거나 AI 학습에 사용될 수 있다는 사실을 인지하지 못할 수 있습니다.
그러나 이제 기업 리더들은 프라이빗 AI라는 옵션을 가지고 있습니다. 이 프라이빗 AI는 사내 데이터베이스, SharePoint, API, 또는 기타 비공개 소스에 한정된 쿼리와 요청을 처리하는 아키텍처를 활용합니다. 이 접근 방식은 대규모 공개 모델과 안전하게 상호 작용하기 위해 주로 RAG(Retrieval-Augmented Generation)를 통합하며, 조직에 특화된 정보에 기반한 응답을 제공합니다.
조직은 이러한 프라이빗 AI를 통해 입력 데이터의 안전성을 보장하면서 AI와 대규모 언어 모델(LLM)의 이점을 활용할 수 있습니다.
프라이빗 AI와 퍼블릭 AI 비교
우리는 AI가 널리 사용될만큼 충분히 발전한 시점에 도달했으며, AI의 대중화는 비즈니스와 사회를 모두 변화시키고 있습니다. 그러나 우리는 AI 모델의 학습 방법, 데이터의 출처, 데이터의 저장 위치를 넘어서서 AI 모델이 무엇을 할 수 있는지 살펴봐야 합니다.
오늘날 공개 GenAI 모델은 공개 데이터 세트에서 학습되었습니다. 예를 들어, GPT-3는 CommonCrawl 데이터 세트에서 45테라바이트의 데이터로 학습되었습니다1. 또한 사용자가 모델에 제출하는 새로운 데이터에 대해서도 계속해서 학습을 진행합니다.
이는 AI 이니셔티브를 도입하고 싶지만 IP 및 고객 데이터를 비공개로 유지하는 것에 대해 우려하는 기업들에게 도전 과제가 됩니다. 퍼블릭 AI 모델에 입력된 정보는 제3자 데이터베이스에 저장된 후 제3자 제공업체에 제공됩니다. 기업 리더는 GenAI 도입의 가장 큰 위험은 부정확성(56%)이라고 생각하지만, 그다음으로는 사이버 보안 위험(53%), IP 침해 위험(46%), 개인 또는 개인 프라이버시 위험(39%)이 뒤를 잇고 있습니다.
때문에 데이터를 안전하게 유지하는 것의 중요성을 아는 조직은 프라이버시, 제어 및 효율성을 보장하는 솔루션을 찾고 있으며, 그 중 하나가 프라이빗 AI 모델입니다.
검색 증강 생성(RAG)이 프라이빗 AI를 지원하는 방법
프라이빗 AI를 도입한다는 것이 조직이 자체적으로 사내 ChatGPT와 기본 LLM을 처음부터 구축해야 한다는 의미는 아닙니다. RAG 자체가 AI를 사용하면서 보안, 규정 준수, 프라이버시 및 데이터 주권을 유지하도록 설계되었기 때문입니다.
프라이빗 AI 모델은 퍼블릭 데이터셋을 쿼리하는 대신, 먼저 기업의 내부 데이터베이스, 문서 라이브러리 및 기타 시스템 정보를 쿼리합니다. 이는 곧 기업의 인트라넷을 쿼리하는 것과 같습니다. AI가 결과를 검색한 후, 이를 쿼리에 추가하여 공개 모델로 전송합니다. 이렇듯 RAG를 사용하면 조직은 데이터를 보호하고 공개적으로 사용되는 것을 방지하는 동시에, 복잡한 퍼블릭 LLM으로부터 확실한 응답을 받을 수 있습니다.
조직은 퍼블릭 AI 모델에 자체 조직 데이터를 추가하고 기업의 특정 데이터로 모델을 미세 조정하여 한 단계 더 발전시킬 수 있습니다. 물론 이 방법은 RAG보다 더 비싸고 복잡하지만, 앞으로 기업이 선택할 가능성이 높은 옵션입니다.
오늘날 기업이 프라이빗 AI를 도입해야 하는 이유
프라이빗 AI는 새로운 기업 AI 솔루션을 검토하는 IT 리더에게 다음과 같은 여러 가지 이점을 제공할 수 있습니다.
- 데이터 개인정보 보호: 프라이빗 AI의 가장 큰 장점은 데이터 개인정보 보호입니다. 민감한 정보를 안전하게 보호하는 것을 우선시하는 조직에게 AI의 힘을 활용할 수 있는 방법을 제공합니다.
- 제어: 프라이빗 AI는 기업 데이터의 사용, 접근 방법, 그리고 접근 권한에 대한 제어를 강화합니다. 조직은 내부 데이터를 유출 가능성이 있는 퍼블릭 모델로 전송하는 대신, 가드레일을 설치하여 데이터를 계속 제어할 수 있습니다.
- 속도와 편의성: 조직은 프라이빗 AI를 사용하여 자연어 인터페이스를 통해 데이터베이스, 고객 관계 관리(CRM), 전사적 자원 관리(ERP) 등 내부 백엔드 시스템을 쉽게 쿼리하고 자동화된 프로세스를 통해 데이터에서 빠르고 효율적으로 통찰력과 답변을 얻을 수 있습니다.
- 규정 준수: 데이터의 위치와 사용 방식을 제어함으로써 조직은 건강보험 이동성 및 책임에 관한 법률(HIPAA), 캘리포니아 소비자 개인정보 보호법(CCPA), 일반 데이터 보호 규정(GDPR)과 같은 개인정보 보호법 및 규정을 준수하고 있음을 보장할 수 있습니다.
- 고객 신뢰: 소비자의 85%가 구매 전에 기업의 데이터 프라이버시 정책을 알고 싶어하며, 46%는 기업이 고객 데이터를 어떻게 사용하는지 명확하지 않으면 브랜드 변경을 고려합니다. 따라서 조직은 프라이빗 AI를 통해 데이터 프라이버시를 강화하여 고객 신뢰를 높일 수 있습니다.
- 경쟁 우위: 조직이 AI 역량을 구축함에 따라 혁신을 촉진하고 고객 신뢰를 쌓아 경쟁 우위를 확보할 수 있습니다. 내부 데이터로 학습된 도메인별 대규모 언어 모델은 '지식 허브'로서의 역할을 하여 이러한 이점을 더욱 강화할 수 있습니다.
기업이 프라이빗 AI를 출시하고 확장하는 방법
프라이빗 AI 인프라가 성공할 수 있는 최상의 환경을 조성하려면 몇 가지 준비가 필요합니다:
- 데이터 품질부터 시작하세요. IT 리더는 기업 데이터의 품질을 보장하는 것에서 시작할 수 있습니다. AI가 효율적으로 작동하려면 양질의 데이터가 필요하기 때문입니다. 데이터는 정제되고, 일관되게 정리되며, 가능하면 최신 상태이거나 실시간에 가까워야 합니다. 이를 위해 새로운 데이터 거버넌스 및 관리 방식을 도입해야 할 수도 있습니다.
- 적합한 환경을 조성하세요. AI 도입을 위한 기술 인프라 준비 시, 비즈니스 리더의 59%는 어느 정도 준비되었거나 약간 준비되었거나 전혀 준비되지 않았다고 답했습니다.2 AI는 더 많은 컴퓨팅, 네트워크 및 스토리지 인프라가 필요한 클라우드와 같다고 생각하면 됩니다. AI에 필요한 전력 밀도는 기존 데이터 센터가 소비하는 것보다 10배 이상 높을 수 있습니다.
AI 애플리케이션을 실행하기 위한 고성능 컴퓨팅(HPC) 인프라를 고려하세요. 특히, 효율적인 프라이빗 AI 인프라의 전력, 보안, 냉각 및 규정 준수 요구 사항을 지원할 수 있는 고밀도 코로케이션 솔루션을 주목하세요.
데이터 중력 문제를 완화하려면 엣지에서 데이터를 처리할 때 분산된 접근 방식을 취하세요. 글로벌 프라이빗 데이터 패브릭을 통해 프라이빗 AI 거래소를 활용하여 AI 인프라, 데이터 세트, 서비스 및 네트워크의 더 넓은 에코시스템으로의 상호연결성 및 데이터 전송 옵션을 수용하세요.
IT 리더는 프라이빗 AI에 대한 이러한 요구 사항을 고려할 때, 레거시 IT 인프라가 이를 지원할 수 있는지, 레거시 시스템에 어떻게 통합할 것인지, 그리고 진화하는 프라이빗 AI의 목표를 지원하기 위해 새로운 플랫폼 또는 인프라에 투자해야 하는지도 질문해야 합니다.
- 팀을 구성하고 전문가와 협력하세요. IT 및 엔지니어링 팀은 프라이빗 AI 제공을 위한 데이터를 수집하고 준비합니다. IT 리더는 자연어 인터페이스, 간단한 웹 앱 또는 봇을 구축하는 등 AI 모델을 발전시킬 때 AI 또는 소프트웨어 엔지니어가 필요할 수도 있습니다.
IT 보안 팀은 데이터 프라이버시 및 액세스 관리를 위해 계획 수립에 참여해야 합니다. 또한 IT 리더는 AI 전략을 발전시킬 때 적절한 파트너 에코시스템을 활용하고 외부에서 AI에 필요한 고유한 인프라를 잘 알고 있는 전문가와 협력해야 합니다.
엔터프라이즈 AI의 미래를 위한 준비
IT 리더는 텍스트 생성, 고객 서비스, 분석 및 의사 결정 등 GenAI를 통해 개인 데이터를 안전하게 사용할 수 있는 방법을 모색하고 있습니다.
AI 솔루션이 기성품 또는 SaaS 제품을 통해 더욱 널리 보급됨에 따라 데이터 프라이버시를 우선시하고 자산, 지식재산(IP), 고객을 안전하게 보호하고자 하는 조직에게는 프라이빗 AI가 앞으로의 핵심 방향이 될 것입니다.
우리는 엔터프라이즈 AI의 급속한 발전을 목격하고 있습니다. IT 인프라의 미래에 대비하는 방법을 알아보려면 최신 백서인 IT 리더를 위한 AI를 읽어보세요.
각주:
1. Brown, T. 외, '소수 학습자 언어 모델', 2020년 7월 22일. https://arxiv.org/pdf/2005.14165.pdf
2. Deloitte LLP, Deloitte의 기업에서의 생성형 AI 현황 1분기 보고서, 2024년 1월. https://www2.deloitte.com/content/dam/Deloitte/us/Documents/consulting/us-state-of-gen-ai-report.pdf

