세션명: AWS로 구현하는 혁신적 애플리케이션을 위한 인프라 전략
일시: 2024.05.17 11:10 ~ 11:50
장소: 3F E홀
작성자 : Cloud Technology Center / 고준성
매년 Summit이나 re:invent에서 비슷한 주제로 세션을 진행한다.
AWS 위에서 인프라를 구현하기 위한 방법으로 여러 사례를 접할 수 있고 새로운 기술 및 생각지 못한 아이디어를 얻을 수 있을 것이라 생각되어 해당 세션을 신청하였다.
올해 2024년 서울 서밋에서는 어떠한 내용으로 혁신적 애플리케이션을 위한 인프라 전략을 소개하는지 알아보자.
•
세션에 대한 개략적인 소개
세션명 : AWS로 구현하는 혁신적 애플리케이션을 위한 인프라 전략
101 형식으로 세션을 진행했으며, 혁신적이며 획기적인 클라우드 인프라에 대한 인사이트를 얻을 수 있었다.
•
혁신 고객 사례 소개
아스트라제네카
30억개가 넘는 유전자 정보를 가지고 연구소에서 분석하기는 힘들다.
분석하기 위한 일반적인 서버에서 분석하기 힘들고 고성능의 서버가 필요한데 고성능 컴퓨팅 워크로드 AWS 510억번씩 분석을 진행한다고 한다.
Wisk Aero
자율전기 수직 이착륙 기술을 가지고 있는 회사이다.
항공 관련 계산을 하는 것은 매우 복잡한 것. 유체역햑을 분석하기 위한 고성능 컴퓨팅 워크로드를 위해 AWS 클라우드 위에서 동작하고 있다.
레오나르도 AI
아름다운 이미지를 생성해주는 생성형 AI 기반으로 호주의 회사다. 매일 450만개의 이미지를 생성해서 현재까지 7억개가 넘는 이미지를 생성했으니 이러한 워크로드를 위해 AWS 위에서 운영 중이다.
•
세상에서 가장 어려운 문제 해결
고성능 워크로드를 필요로 한다. 이러한 워크로드를 온프레미스에서 구현한다면 비용과 이러한 데이터를 관리하고 분석하기 위한 서버 및 네트워크를 고려해야한다.
클라우드 위에서는 아이디어만 있으면 클러스터 생성이 가능하고 온프레미스에 비해 관리 부분에서도 용이하기 때문에 개발 및 운영팀에서는 온전히 회사의 서비스에 집중할 수가 있다.
•
의사결정권자의 가장 큰관심사
◦
보안 및 신뢰성
◦
성능 및 비용최적화
◦
경쟁력과 혁신 유지
여러 관심사를 토대로 많은 고객들이 AWS를 선택한 이유는, 다양한 워크로드와 다양한 애플리케이션을 운영하는 고객에게 맞는 다방면의 서비스를 제공해줄 수 있다가 아닐까 싶다.
1.
가장 안전하고 신뢰할 수 있는 클라우드
2.
인프라에서 최고의 성능과 효율적인 비용
3.
진화하는 요구사항을 지원하기 위한 지속적인 세션
•
가장 안전하고 신뢰할 수 있는 클라우드
인프라가 안전하고 데이터를 안전하게 보관하고 네트워크 통신을 통해서도 안전하게 통신을 해야하는데 AWS에서는 Nitro System을 제공해주고 있다. 이 Nitro System은 보안을 위해 모든 커뮤니케이션 통로가 암호화 되어 있어 안전하게 사용할 수 있다. 인스턴스 사용자가 하위의 하이퍼바이저를 이용하여 정보를 탈취할 수 있는 방법이 없고 AWS에서는 계속해서 모니터링하고 보안패치하며 검증하기 때문에 안전하다.
AWS Nitro System의 보안 검증은 NCC 그룹 보안 업체를 통해 검증을 받았다고 한다.
•
인프라에서 최고의 성능과 효율적인 비용
보안을 알아봤으니 두번째로 중요한 성능과 비용관련해서 알아본다.
인프라가 쉽게 확장할 수 있어야 하고 확장하는 만큼 인프라 비용을 최적화 할 수 있어야 한다.
작년 리인벤트에서 출시된 One Zone을 소개해주었다. 작년 리인벤트를 보지 않았어서 몰랐던 내용을 새롭게 배울 수 있었다. One Zone은 현 S3 티어에서 속도가 가장 빠르다고 한다. S3 Standard 보다 최대 10배나 빠르다. S3 Standard는 3곳의 Availability Zone에 저장하지만, 이름부터 OneZone인 것처럼 한 곳에 데이터를 저장하여 같은 Zone에서 접근한다. 데이터 저장 비용은 OneZone이 Standard보다 조금 더 비싸지만, 같은 Zone에서 접근하기에 데이터에 접근하는 비용이 50%가 저렴하다. 이러한 이유로 고성능 컴퓨팅에서 같은 AZ에 둘 경우에는 성능이 매우 좋아지기 때문에 전체적인 비용감소와 성능이 빨라지는 효과를 볼 수 있다.
성능이 얼마나 빨라지는지 측정을 위한 방법은 FirstBytes 레이턴시를 측정하는데,
OneZone은 10밀리초 미만으로 일관되게 나오며 분당 수백만개 요청이 가능한 것으로 빠른 것을 알 수 있다.
•
Nitro System
AWS는 성능을 위해 Nitro System을 개발했다. 소프트웨어 상에서 가상화를 하다보니 하이퍼바이저 자체가 매우 무겁고 하드웨어에서 온전히 인스턴스로 가지 못하고 30% 정도를 점유를 하다보니 비효율적이라 생각이 되었다. 기존 범용의 하드웨어로는 더 발전할 수 없으니 2012년부터 Nitro 생산을 시작했다. AWS에서는 가볍게 만들자 하여 생산을 진행해서 2013년 처음으로 출시 후 지금까지 발전해서 고객들에게 제공해드리고 있다. 그래서 고객들은 Amazon EC2를 통해 Nitro 발전을 통한 속도 및 비용 등의 이점을 누리고 있다.
생성형 AI와 딥러닝이 발전을 하면서 수천억개의 파라미터로 늘었는데 기계학습의 성장을 고려하면 인프라의 가격 대비 성능은 매우 큰 영향을 미칠 수 있다고 한다. 즉, 컴퓨팅 비용이 늘어난다는 것인데, AWS는 어떠한 고민을 하고 있는지 성능이 뛰어나면서 가격도 뛰어난 칩을 개발할 수 있지 않을지 고민하다 칩 개발을 했다고 한다.
AWS는 가격대비 최고의 성능을 제공하기 위한 Graviton이라는 칩셋을 개발하여 제공해드리고 있다.
비슷한 성능의 다른 인스턴스와 비교해봐도 가격이 저렴하다. Graviton은 적은 에너지를 사용하고 사용 전력이 낮으니 가격이 저렴하고 그만큼 탄소 배출도 적다.
작년 리인벤트에서는 벌써 Graviton 4를 출시했다.
ANNAPURNA의 기술력이 좋아 2015년도에 인수를 해버리고 AWS 자체 칩 개발의 노하우를 갖게됐다고 한다. 이러한 Graviton의 칩셋은 비용도 저렴하며 여러 워크로드에서 높은 성능을 보여주고 있다.
위 설명과 함께 세션에서는 다양한 고객 사례를 예시로 Graviton을 활용한 사례에 대해 설명했고 다방면에서 많은 고객들이 Graviton을 사용하는 것을 알게됐다.
AWS는 현재까지 많은 칩을 개발했으며, 칩 종류에 대해서는 위 사진을 참고 바란다.
다양한 워크로드에 맞는 여러 칩을 소개했으나, 특이사항은 없었던 것 같다.
•
진화하는 요구사항을 지원하기 위한 지속적인 세션
AWS의 리더십 원칙 중 하나인 고객과의 소통하며 발전하려고 하고 있다고 한다. 이러한 고객의 계속해서 변화하는 요구사항을 위해 AWS는 끊임없이 혁신하고 있다며 어필했다. 고객사들마다의 많은 고객의 워크로드를 위해 광범위하고 심층적인 서비스와 기능을 제공하기 위해 AWS는 200개가 넘는 서비스를 제공해주고 있다. 클라우드 제공 업체 중 가장 많은 유형의 인스턴스를 제공해주며 네트워크 또한 많은 대역폭과 안정적이고 안전하게 사용할 수 있도록 제공해주고 있다. 이러한 750개가 넘는 인스턴스 유형을 제공해주며 거의 모든 워크로드에 적합하니 AWS를 선택하지 않을 수 없다고 어필한다.
최근 AWS에서 제공하는 Amazon Q를 통해서 다양한 업무에 많은 도움을 받을 수 있으니 참고바란다. 여러 기능 중 소프트웨어를 빠르게 개발하고 보안 검증을 Amazon Q를 이용해서도 도움을 받을 수 있으며 보안 스캔기능으로 실수나 누락된 코드를 제안을 받을 수 있다고 한다.
이렇게 코드에 대한 도움을 받게 되면 그 코드는 추가 데이터로 활용되는지, 고객의 코드의 유출의 위험이 없는지 생각이 든다. 나중에 찾아봐야겠다.
여러 기능을 제공하는 Amazon Q가 앞으로 어떻게 발전해서 많은 도움을 줄 지 기대되며, 업무하면서 어떻게 활용하면 좋을지도 고민해보고 사용해봐야겠다.
•
결론
매년 SA에게 친숙한 101과 같은 세션을 진행했으나 AWS는 계속해서 발전하니 매년 들어도 새로운 내용으로 관심을 안가지면 충분히 모를 수 있는 내용을 이번 세션을 통해서 알게됐다.
앞으로 발전된 AWS 서비스를 고객사의 프로젝트에 적용할 수 있을지는 아직 지켜봐야겠지만 끊임없이 관심을 갖고 활용할 수 있어야겠다.