세션명: AWS와 생성형 AI로 비즈니스 혁신하기
일시: 2024.05.16 11:10 ~ 11:50
장소: 코엑스 컨벤션 센터 3F 오디토리움
작성자 : CloudTechnologyCenter/김명진
GenAI 관련 서비스들이 비즈니스에서 어떻게 쓰이는지, 고객사 제안 시 어떤 방식으로 접근할 수 있고 중요한 워크로드에서 중요한 포인트들이 무엇인지 알아보기 위해 해당 세션에 참석하였습니다.
세션에 대한 개략적인 소개
생성형 AI에 대한 전반적인 설명과 amazon bedrock, amazon Q 사용에 대한 세션입니다.
생성형 AI와 혁신
많은 전문가들은 생성형 AI로 파생된 경제활동들이 전세계 7%이상의 경제성장률을 올릴 것이라고 보는 등 gen AI로 세상이 변화하고 성장할 것을 예상하고 있습니다.
생성형 AI로 고객 경험은 향상 될 것이며, 직원들의 생산성 및 창의성 강화, 비즈니스(백엔드) 프로세스 최적화라는 변화를 경험할 수 있게 될 것입니다.
이러한 경험은 특정 산업에 국한되지 않습니다. 의료 서비스에서는 신약 프로세스 최적화에, 제조 산업에서는 성능 향상, 금융 서비스에서는 특정 재무에 맞게 투자 전략 금융 서비스를, 유통 산업에서는 수익 극대화를 위한 최적의 가격 설정에 도움을, 미디어 및 엔터테인먼트 산업에서는 쇼츠 생성에 도움을 줄 수 있습니다.
생성형 AI 스택 - 3가지 layer
생성형 AI 사용은 3가지 레이어로 나눠서 설명할 수 있습니다. 슬라이드 아래에서부터, 직접 모델을 만들고 싶은 고객에게 인프라를 제공해주는 부분인 ‘FM 훈련 및 추론을 위한 인프라', amazon bedrock을 사용하는 것과 같은 ‘LLM 및 기타 FM을 사용해서 구축할 수 있는 도구’, amazon Q를 사용하는 것과 같은, 전문적인 지식 없이도 FM 활용을 하고싶은 고객에 해당하는 ‘LLM 및 기타 FM을 활용하는 애플리케이션’ 레이어입니다. 먼저 설명할 부분은 FM 훈련 및 추론을 위한 인프라입니다.
FM 훈련 및 추론을 위한 인프라
머신러닝 학습에는 성능의 GPU과 자원을 효율적으로 사용하는 것이 중요합니다. AWS에서는 주요 클라우드 업체 중에서 p5인스턴스를 통해 최초로 NVIDIA h100 Tensor Core GPU를 사용할 수 있게 되었습니다. AWS에서는 여기서 그치지 않고 실리콘 수준에서의 혁신도 이루어냈었습니다. 선택의 폭을 넓히기 위해 AWS 자체 칩을 개발한 것입니다. aws Trainium, Inferentia칩을 제공합니다.
AWS는 자동 모델 파인 튜닝 및 분산훈련을 돕기 위해 칩 이외에 서비스 또한 제공합니다. AWS sagemaker는 유연한 모델 배포 옵션을 가지고 있으며 책임 있는 AI를 위한 내장 기능을 가지고 있습니다. 여기서 ‘책임 있는 AI’에 대한 내용은 세션 뒷부분에서 자세히 소개하겠습니다.
LLM 및 기타 FM을 사용하여 구축할 수 있는 도구
amazon bedrock은 보안을 유지하면서 애플리케이션을 빠르게 구축할 수 있는 AWS 서비스입니다.
다양한 모델을 제공하고, 애플리케이션과의 통합이 용이하다는 장점을 가지고 있습니다. AWS 에서는 계속해서 만들어지는 신규 FM에 대해서도 AWS사용자들이 빠르게 경험할 수 있도록 노력하고있습니다. 실제로, 라마3의 경우 출시된지 일주일도 안되어서 베드락에서 사용할 수 있게되었습니다. 또한 앤트로픽과도 아주 긴밀한 관계를 맺고 있는데, 클로드 3 비전 기능을 통해서 차트나 그래프, 다이어그램 등을 사용할 수 있으며, 아마존 trainium과 Inferentia을 통해서 차세대 모델을 만들어갈 예정입니다.
고유한 요구 사항에 대해 최적화하는 방법은 다양합니다. 파인튜닝, RAG, 지속적인 사전 학습을 통해서 가능합니다. 특히 RAG(검색증강생성)의 경우, 자체 데이터를 직접 호출하고 프롬프트와 함께 전달하는 방법입니다. 비지니스에 맞는 답변을 생성형 AI를 통해 받아볼 수 있는 것입니다.
bedrock은 보안거버넌스를 준수하며 데이터를 비공개로 안전하게 유지합니다. 어떠한 고객 데이터도 기본 모델을 훈련하는데 사용되지 않고, VPC에만 남아있습니다.
또한, 앞서 언급한것처럼 AWS가 지향하는 것은 ‘책임있는 인공지능'입니다. 온라인 어시스턴트가 혐오적인 표현이나 모욕적인 발언을 하지 않게 하고, 제공해도 되는 정보와 아닌 정보를 제어하는 것입니다. 아마존 베드락에서는 가드레일을 통해서 이것을 실현합니다. 모델이 반환하는 정보와 반환될 수 없는 정보를 구분해서 제공하고, 오용 되는 것들을 방지, 개인정보를 제거 합니다.
LLM 및 기타 FM을 활용하는 애플리케이션
Amazon Q Developer는 인사이트에 드는 시간들을 절약해줍니다. 코드를 자동으로 작성하고, 업무용 AI 채팅 애플리케이션입니다. 기존 AWS 보안 서비스들을 잘 이해하고 동작하며 엔터프라이즈 보안과 프라이버시를 잘 준수합니다. 또한 모든 개발 관련 작업을 지원 가능하며 aws 아키텍처 관련 질의에 대해서 well architected framework를 인지하고 해답을 공합니다.
아마존 Q 비지니스는 비지니스와 관련된 맞춤형 질의가 가능하고 40개 이상의 내장 커넥트를 가지고 있습니다.
아마존 퀵사이트는 BI 서비스가 내장 되어있어 생성형 대시보드 작성이 가능하고, Q in connect는 생성형 AI 고객 센터 에이전트를 지원합니다.
세션 요약 및 마무리 - 생성형 AI의 대중화
강력한 데이터 기반은 생성형 AI에 매우 중요합니다. AWS는 성능과 비용 두 마리 토끼를 모두 잡을 수 있는 서비스 제공합니다. 이미 사용하고 있는 DB가 있음에도 벡터를 위해서 DB를 만드는 어려움을 줄이기 위해 기존 DB에 벡터 임베딩 기능을 추가하여 기존 애플리케이션 변경 없이도 사용할 수 있도록 유연성을 제공합니다.
결론
도입할 수 있는 여력에 따라 FM을 어떻게 활용할 수 있을지에 대한 인사이트를 얻을 수 있었고 벡터 임베딩이라든지 데이터를 다루는 것에 대한 중요성이 커졌다는 것을 느꼈습니다. 또한 bedrock을 생성형AI도구로 고객에게 단순히 제공하는 것을 넘어서 가드레일 등 고객들의 서비스 제공에 중요한 지점들을 활용할 수 있도록 돕는 것 또한 중요해보입니다.