세션: AWS로 구현하는 혁신적 애플리케이션을 위한 인프라 전략
일시: 2024.05.17 11:10~11:50
장소: 코엑스 3F, E5
작성자: Cloud Technology Center / 김세희
Agenda
•
AWS에서 실행되는 획기적인 애플리케이션
•
고성능 컴퓨팅 워크로드 구축 시 클라우드의 장점
•
의사 결정권자의 가장 큰 관심사는?
•
왜 AWS인가?
AWS에서 실행되는 획기적인 애플리케이션 - AWS의 고객 사례
제약회사 Astrazenca
제약을 위해서 30억 개 이상의 염기쌍에 대한 유전자 분석이 진행됩니다. Astrazeneca는 이를 위한 자체적인 애플리케이션 제작이 필요하게 되었고, 유전자 분석의 규모는 일반적인 서버 워크로드에서 불가능하기 때문에 고성능 컴퓨팅 워크로드가 요구되었습니다.
비행사 Wiska
Wiska는 자율 전기 수직 이착륙 비행기를 최초로 제작했습니다. 기존 비행기는 수평으로만 움직일 수 있으나 수직으로 이착륙이 가능한 비행기 제작을 목표로 했습니다. 이를 위해서는 공기의 저항 분석, 유체역학이 가능한 고성능 워크로드가 필요했습니다.
이미지 생성을 위한 Leonardo AI
Leonardo AI는 판타지향의 이미지를 생성형 AI로 제작하는 애플리케이션을 개발했습니다. 처음에는 450만 개의 새로운 이미지 생성을 시작으로 하여 현재까지 총 7억 개가 넘는 이미지를 생산해왔습니다. 사용자 지정 형식의 모델이 40만 개가 넘기 때문에 이를 처리하기 위해 AWS 클라우드에서 서비스를 제공하고 있습니다.
고성능 컴퓨팅 워크로드 구축 시 클라우드의 장점
고성능 워크로드란?
고성능의 CPU나 Memory, 페타바이트급의 Storage, 고성능의 Network 자원이 필요한 워크로드를 뜻합니다.
클라우드에서의 장점
AWS에서 관리되는 자원들이기 때문에 온프레미스보다 더 적은 시간, 비용, 기타 유지보수가 간소화되고 편리합니다.
따라서 높은 비용과 자원들을 위한 공간 및 준비 시간을 요하는 분석하기 힘들고, 어려운 워크로드들은 AWS 클라우드에서 자원을 보다 빠르고 쉽게 이용할 수 있다는 장점을 가지게 됩니다.
의사 결정권자의 가장 큰 관심사는?
•
보안 및 신뢰성 - 민감 데이터에 대한 접근 제어, 장애 없이 계속해서 실행할 수 있는 신뢰성
•
성능 및 비용 최적화
•
경쟁력과 혁신 유지 - 경쟁력을 유지하기 위해 꾸준한 최신 서비스와 기능으로 앱 최신화와 업그레이드
왜 AWS인가?
고객사들이 AWS를 선택하는 이유에는 의사 결정권자들이 중요하게 생각되는 요소들을 가지고 있기 때문입니다.
가장 안전하고 신뢰할 수 있는 클라우드
안정된 인프라 - AWS Nitro System은 보안을 위해 잠재적인 위험으로부터 보호합니다.
•
인스턴스 사용자가 하위의 하이퍼바이저에 접근해서 정보를 탈취하는 등의 위험 작업이 불가합니다.
•
보안 패치 업그레이드를 자동화함으로써 고객들은 인프라에 대한 보안을 직접 관리할 필요가 없는 편리함을 체험할 수 있습니다.
•
AWS NITRO ENCLAVE는 완전히 격리된 환경을 제공하여 의료 정보, 금융 정보와 같은 민감 데이터에 더 높은 수준의 보안을 탑재할 수 있습니다.
데이터는 항상 안전해야 합니다 - S3 버킷은 다양한 방면에서 데이터의 안정성을 높입니다.
•
policy를 통한 접근 제어를 관리할 수 있습니다.
•
버킷 생성 시 퍼블릭 액세스 자동 차단 설정으로 생성되어 외부의 접근을 우선 차단합니다.
•
저장 데이터 모두 S3 기본 암호화를 제공하여 특별한 조치 없이도 객체들의 암호화가 가능합니다.
•
비즈니스 크리티컬한 환경에서도 데이터 복제를 통해 쉬운 복원이 가능합니다.
인프라에서 최고의 성능과 효율적인 비용
비즈니스가 성장하면 인프라가 쉽게 확장될 수 있어야하며 비용 최적화도 함께 진행되어야 합니다.
S3 스토리지 레벨에서의 성능과 비용
Amazon S3 Express On Zone은 고성능 컴퓨팅 워크로드에 맞춰 제작된 S3 스토리지입니다. 단일 AZ에 데이터를 저장하는 구조를 가집니다.
S3 Standard와 비교 시 10배 빠른 속도를 제공합니다. 데이터 저장 비용은 S3 Standard보다 높으나 데이터에 접근하는 비용은 50% 더 낮습니다. 데이터를 조회하는 성능이 워낙 빠르기 때문에 컴퓨팅 리소스를 더 짧게 사용하게 되어 전체적으로 컴퓨팅 자원 비용은 낮아집니다.
컴퓨팅 레벨에서의 성능과 비용
Nitro System을 통해 Perfomance를 향상시킬 수 있습니다.
기존 범용 서버와 Xen 기반의 서버 사용으로 하이퍼바이저 자체가 굉장히 무거워 자원이 인스턴스로 사용되지 못하고 30%씩 점유되는 한계를 가졌습니다.
AWS는 2012년부터 Nitro 시스템을 설계했습니다. 하이퍼바이저가 담당하는 가상화 영역을 전용 하드웨어를 만들어 위임시켰습니다. 이로써 latency는 점점 더 짧아지고 처리량은 높아졌습니다. 이제는 Bare Metal 인스턴스 수준으로 하드웨어 자원의 대부분을 인스턴스에서 사용합니다.
최고의 성능을 가진 가장 저렴한 비용으로 리소스 제공
AWS는 Graviton이라는 Nitro System의 프로세서를 직접 제작했습니다.
Graviton은 동급 x86 기반의 인스턴스와 비교 시 전기 사용량이 굉장히 낮아 에너지 효율적이며, 비용 절감에도 효과적입니다. Graviton 제작기로 AWS는 자체적인 칩 개발에 노하우를 얻게 되었습니다.
진화하는 요구 사항을 지원하기 위한 지속적인 혁신
AWS는 가장 광범위하고 심층적인 서비스를 제공합니다.
AWS는 초기에 S3, EC2, SQS 단 3개의 서비스만을 제공했습니다. 현재는 200개 이상의 서비스로 확장하였으며 Intel과 협력하여 AMD, MAC 기반 인스턴스를 최초로 출시한 CSP 업체입니다.
AWS는 점점 더 많은 기업이 고객 경험을 개선하기 위해 기계 학습을 배포하고 있습니다.
Amazon Q를 이용함으로써 다양한 인사이트를 얻을 수 있습니다.
•
회사 데이터를 학습시켜 내부적 분석으로 사용할 수 있습니다.
•
분석 결과를 퀵사이트와 연동하여 다양한 대시보드로 응용할 수 있습니다.
•
소프트웨어 개발 및 보안 검증에서도 많은 도움을 줍니다. IDEL에서 코드의 자동완성, 추천 기능으로 생산력을 높이고 보안 스캔 기능으로 실수 혹은 누락된 보안 사항에 대해 제안해주는 기능을 제공합니다.
•
고객 센터에서는 고객 대응을 위해 Q in Connect가 “어떻게” 대응할지 자동으로 제안합니다.
AWS는 기계 학습을 위한 인스턴스 칩으로 TRN, INF을 제작했습니다.
•
TRN은 새로운 모델 제작을 위한 학습, 즉 훈련용 칩입니다.
•
INF는 훈련된 모델을 기반으로 새로운 입력값에 대한 결과 예측, 즉 추론용 칩입니다.
해당 인스턴스 유형은 훈련과 추론에 최적화되어 있어 pytorch와 같은 툴이 빌트인되어 있습니다. AWS를 사용하는 고객사에서는 별도의 라이브러리 설치 없이 쉽고 간편하게 사용할 수 있습니다.
마치며
AWS는 보안, 성능, 비용 효율성을 모두 갖춘 클라우드 인프라를 제공하여 고객이 혁신적인 애플리케이션을 개발하고 실행할 수 있도록 계속해서 발전해나가고 있습니다.
또한 시대의 트렌드에 맞춘 고객사의 요구사항을 충족시키고자 고성능 컴퓨팅과 기계 학습을 포함한 다양한 서비스를 제공하여 비즈니스의 성장과 경쟁력을 유지할 수 있도록 계속해서 니즈를 파악하고자 하는 기업이기에 앞으로 AWS에서 제공될 다양한 서비스들의 이용과 활용이 기대되는 부분입니다.