티스토리 원문: https://tomymoon.tistory.com/221
현재 빅데이터 분석 및 AI 솔루션을 다루는 회사에서 인턴으로 근무하며 관련 실무 프로젝트를 수행하고 있다. 업무를 하면서 마침 좋은 기회로 이번 강의를 들을 수 있게 되었다.
무려 난이도 Expert의 강의이기에 사실 기술적인 세부 동작 원리까지 백퍼센트 완벽하게 이해하기는 아직 조금 어려웠지만, 생성형 AI 시대에 왜 이 기술이 핵심 열쇠가 되는지 그 방향성만큼은 명확히 느낄 수 있었던 유익한 시간이었다.
내가 이해한 생성형 AI 거버넌스가 무너지는 4가지 이유
강의에서는 전사적으로 AI를 도입할 때 거버넌스가 실패하는 원인을 총 4가지로 짚어주셨다.
- 시맨틱 갭: 같은 ‘고객’이라는 단어도 재무부서와 물류부서가 정의하는 기준이 서로 다르다. 결국 소통과 데이터 합치에 공백이 생기게 된다.
- 가이드라인 부재: AI가 올바른 판단을 내릴 수 있도록 뼈대가 되어주는 윤리적 원칙이나 명확한 비즈니스 로직(판단 기준) 수립이 미흡하다.
- 맥락 누락: 데이터의 출처나 생성된 배경(맥락)이 전혀 없이 문서만 무작정 쌓아둔 AI 검색 저장소는 결국 무용지물이 된다.
- 데이터 가시성 부족: 우리 회사에 어떤 데이터 자산이 어디에 있는지, 누가 관리하는지 주체를 식별할 수 없어 관리가 불가능해진다.
SageMaker Catalog와 LLM이 만드는 데이터 민주화 + 철저한 권한 관리
이러한 거버넌스 붕괴 문제를 해결하기 위해 AWS가 제시한 Amazon SageMaker Catalog의 역할이 무척 인상적이었다.
예를 들어, 어떤 재무 분석가가 Claude LLM과 SageMaker Catalog를 활용해 동부 보헤미아 지역의 경제/재무 지표를 분석해달라고 요청하는 상황을 가정해 볼 때, 복잡한 SQL 쿼리나 데이터 파이프라인을 전혀 몰라도, 분석가는 그저 간단한 채팅(자연어)만으로 원하는 분석 결과를 손쉽게 얻을 수 있다.
이 과정에서 가장 놀라웠던 점은 ‘철저한 권한 처리와 자산의 선순환 구조’였다.
- 사용자의 권한 허용 범위에 따라 접근할 수 있는 데이터가 철저히 통제되며, 이에 기반해 분석 결과의 ‘신뢰도’가 함께 도출된다.
- 그렇게 분석된 결과는 일회성으로 공중에 사라지는 것이 아니다. 다시 조직의 새로운 데이터 자산으로 카탈로그에 안전하게 저장되어 다음 분석을 위한 밑거름이 된다.
즉, 데이터의 비즈니스 메타데이터(용어집, 마크다운 설명 등)를 표준화하여 누구나 신뢰할 수 있고 검색하기 쉬운 데이터 인프라를 만드는 핵심 축이 바로 SageMaker Catalog인 것이다.
강의를 마치며 느낀 점
나에게는 분명 난이도가 높은 강의였다. 하지만 지금 내가 발을 담그고 있는 도메인에서, 앞으로 마주하게 될 가장 거대한 숙제가 바로 이 ‘거버넌스’와 ‘데이터 검색 가시성’이라는 확신이 있었기에 끝까지 초집중해서 들을 수 있었다.
해당 강의를 통해 단순히 AI 모델을 잘 만드는 것을 넘어, “기업 환경에서 AI가 안전하고 똑똑하게 일하게 하려면 데이터의 비즈니스 맥락과 거버넌스를 잡는 도구, 즉 SageMaker Catalog가 왜 필수적인가”를 제대로 배울 수 있었다.
참고자료