올해도 세계 최대 규모 IT 컨퍼런스인 '아마존웹서비스 리인벤트(AWS re:Invent) 2024'가 미국 라스베이거스에서 개최되었습니다. 리인벤트 사상 최대 규모로 열린 행사였고, 수많은 기능과 서비스를 새롭게 선보였어요. 생성형 인공지능(AI) 분야에서 상대적으로 뒤처졌다는 평가를 받아온 AWS는 올해 행사에서 추격 성과를 자랑했답니다. 올해 리인벤트에서 발표된 내용 중 주목할 포인트들을 정리했습니다.
가장 큰 이슈로 꼽히죠, AWS의 자체 파운데이션모델 ‘아마존 노바(Amazon Nova)’입니다. 청중들은 다양한 분야에서 뛰어난 성능을 발휘할 수 있도록 설계된 모델 공개에 높은 기대를 가지고 있었으며, 마침내 리인벤트에서 공개되었어요.
물론, AWS는 2023년 3월 타이탄이라는 AI 모델을 선보였고, 앤트로픽(Anthropic)에 80억 달러를 투자하면서 클로드(Claude)라는 걸출한 모델을 강조하기도 했었지만, AWS의 진정한 AI 모델은 아마존 노바가 될 것으로 보여요. 텍스트부터 이미지, 동영상 생성까지 거의 모든 영역을 커버할 수 있도록 6가지 강력한 모델을 선보이며 그 차별성을 강조했죠.
앤디 재시 아마존 CEO는 ‘AWS 리인벤트 2024’ 기조연설을 통해 아마존의 새로운 파운데이션 모델 아마존 노바를 직접 발표했답니다. 6가지 모델에는 자연어 텍스트로 질문하고 답하는 보급형 모델로 메타 라마 3.1 8B나 구글 제미나이 1.5 플래시-8B와 비교되는 ‘노바 마이크로’, 텍스트와 이미지, 비디오 등의 멀티모달을 지원하고 GPT-4o 미니와 비교되는 ‘노바 라이트’, GPT-4o와 비교되는 ‘노바 프로’, 최고 사양으로 알려져 이름만 공개된 ‘노바 프리미어’, 이미지 생성 모델인 ‘노바 캔버스’, 동영상 생성 모델인 ‘노바 릴’ 등이 포함됐습니다.
AWS는 아마존 노바의 성능을 현존하는 인기 파운데이션 모델을 능가한다고 강조합니다. 오픈AI GPT 시리즈, 구글 제미나이, 앤트로픽 클로드, 메타 라마 등과 벤치마크 대결에서 우위를 보인 결과도 제시했어요. 또, AWS의 아마존 베드록에서만 쓸 수 있는 독점 모델로 삼았답니다. AI 분야 종사자들은 여러 모델 중 또 하나의 파운데이션모델 선택지가 나온 것으로 받아들여지는 모습입니다. 성능과 비용 요건에 따라 아마존 노바든 클로드든, 라마든 자유롭게 선택하면 됩니다.
앞으로 주목할 부분은 AWS가 아마존 노바를 얼마나 자주 업그레이드하는 모습을 보일 것이냐입니다. 오픈AI, 구글, 앤트로픽, 메타, 스테이블디퓨전, 미드저니 등이 수시로 모델의 개선 사항을 내놓듯 아마존 노바도 빠르고 꾸준하게 업데이트를 내놔야 파운데이션 모델로서 경쟁력을 평가받을 수 있겠죠?
AWS는 아마존 노바 발표와 함께 기업의 생성형 AI 개발을 적극 지원하는 본연의 역할에도 주력했습니다. 이를 보여주는 사례가 바로 이번에 공개된 차세대 아마존 세이지메이커(Amazon SageMaker)입니다. 세이지메이커는 머신러닝(ML), 딥러닝 등 고전적 인공지능(AI) 기술을 개발, 배포, 운영할 수 있는 서비스입니다. 트랜스포머 기반의 대형언어모델(LLM) 트렌드 속에서 ‘아마존 베드록(Amazon Bedrock)’의 등장 후 다소 시대에 뒤처진 이미지를 주었지만, 차세대란 이름과 함께 기업의 AI 통합 허브로 변모했습니다.
아마존 세이지메이커 유니파이드 스튜디오도 주목해 볼 서비스입니다. AWS는 아마존 세이지메이커에 다양한 생성형 AI 개발 시나리오를 지원하는 기능을 통합시킴으로써 이전의 AI 개발 플랫폼 위상을 회복시키려 시도했습니다. 차세대 세이지메이커는 사용자 조직의 모든 데이터로 향하는 경로를 가지며, 조직 내 모든 데이터 및 AI 이니셔티브를 관리할 수 있는 통합 스튜디오를 제공합니다. 새로운 세이지메이커 유니파이드 스튜디오는 마이크로소프트의 코파일럿 스튜디오나 구글클라우드의 버텍스AI와 경쟁하는 위치에 서게 되었습니다.
세이지메이커 유니파이드 스튜디오는 아마존 베드록, 아마존 EMR, 아마존 레드시프트, AWS 글루, 기존 세이지메이커 스튜디오에서 고객이 현재 사용 중인 독립형 ‘스튜디오’, 쿼리 에디터, 시각적 툴 등을 한데 모았습니다. AI 에이전트, 가드레일, 지식 기반, 플로우 등 아마존 베드록의 고성능 기반 모델과 도구를 사용해 빠르고 쉽게 생성형 AI 애플리케이션을 구축하고 배포할 수 있죠. 데이터 검색, 공유, 거버넌스 기능을 기본 제공해 모든 기업 내 AI 수요자의 공통 도구로 활용할 수 있습니다. 카탈로그와 거버넌스 기능까지 내장해 AI 개발자, 기획자, 데이터 분석가, 현업 사용자, 각 IT 관리자 등이 모두 사용하는 플랫폼이 되었어요.
AWS는 이와 함께 아마존 세이지메이커 AI의 혁신도 선보였습니다. 아마존 세이지메이커 하이퍼팟(HyperPod)은 레시피 기반으로 모델을 최적화할 수 있게 됐으며, 수천 개의 AI 가속기에 걸쳐 생성형 AI 모델 개발을 효율적으로 확장할 수 있게 됐죠. 훈련 계획도 유연하게 운영할 수 있어요.
생성형 AI를 위한 ‘아마존 베드록 (Amazon Bedrock)’은 내년 치열한 경쟁이 예상되는 ‘AI 에이전트’ 분야로 용도를 확장했습니다. 또한, 생성형 AI 서비스의 고질적인 문제인 ‘환각(Hallucination)’을 줄이기 위해 ‘자동화 추론 검증’ 기능을 추가한 점도 리인벤트에서 강조되었죠. 논리적 검증을 거듭하는 수학적인 방식으로 어떤 것이 올바른 것인지 확인합니다. 아마존 베드록 가드레일은 생성형 AI 애플리케이션에 검증 기능을 더해 안전성과 책임성을 높일 수 있습니다.
AWS는 아마존 베드록에서 100여 개의 신규 AI 모델을 추가 제공합니다. 또 ‘아마존 베드록 마켓플레이스’도 출시했습니다. 고객이 자사에 맞는 모델을 찾고 손쉽게 선택할 수 있겠죠?.
이 외에 프롬프트 캐싱, 아마존 베드록 인텔리전트 프롬프트 라우팅 기능을 새로 출시했으며, 아마존 베드록 날리지 베이스에 구조적 데이터 검색과 그래프 RAG 기능을 추가했다고 AWS는 발표했습니다.
아마존 Q 디벨로퍼(Amazon Q Developer)는 테스트 기능이 강화되었어요. IDE에서 아마존 Q 디벨로퍼 채팅 창에 “/test”를 입력하거나 관련 코드 블록을 강조 표시하고 마우스 오른쪽 버튼을 클릭한 다음 “test”를 선택하기만 하면 테스트를 진행할 수 있습니다.
아울러 레거시 애플리케이션의 현대화를 지원하는 것도 ‘아마존 Q 디벨로퍼’가 개발자에게 주는 선물과도 같죠. 예를 들어 아마존 Q 디벨로퍼는 메인프레임 애플리케이션을 현대화된 코드로 변경해 주며, 윈도우 닷넷 애플리케이션을 리눅스 환경으로 포팅해 줍니다. VM웨어 가상화 환경의 애플리케이션도 AWS EC2 인스턴스 기반의 클라우드 네이티브 애플리케이션으로 만들어 줍니다.
그 밖에도 깃랩 듀오와 협업할 수 있게 됐고, 다양한 지속적통합/지속적전달(CI/CD) 시나리오에서 번거로움을 자동화하도록 개선됐습니다.
새롭게 도입된 아마존 S3 테이블(Amazon S3 Tables)은 내장된 아파치 아이스버그 테이블을 지원하는 최초의 클라우드 오브젝트 스토리지에요. 표 형식 데이터 저장과 쿼리 작업을 최적화하기 위해 설계된 새로운 버킷을 도입했으며, 최대 3배 빠른 쿼리 속도와 초당 최대 10배 향상된 트랜잭션 처리(TPS)를 제공해줍니다. 또한, 분석 워크로드를 위한 테이블 유지 관리와 작업 자동화 기능을 갖추고 있답니다.
다시 말해 빅데이터 쿼리에 최적화된 파일 형식인 아파치 파케이(Parquet)를 활용해 분석용 데이터를 표 형식으로 구성하는 오픈 테이블 포맷(OTF)인 아파치 아이스버그를 기반으로 하며, 쿼리 가능한 메타데이터를 자동으로 생성하는 기능을 포함하며 데이터 탐색과 이해를 단순화하고 고객이 아마존 S3에서 데이터 가치를 극대화할 수 있도록 지원합니다.
아마존 S3 버킷에서 새롭게 생겨난 ‘테이블 버킷’을 골라 아파치 아이스버그 테이블에 데이터를 담아 데이터레이크 중 하나로 활용할 수 있다는 점을 확인하세요.
새로 공개된 아마존 오로라 DSQL은 신규 서버리스 분산형 SQL 데이터베이스라고 볼 수 있습니다. AWS는 다른 분산형 SQL 데이터베이스에 비해 높은 가용성, 강력한 일관성, 포스트그레SQL 호환성, 4배 빠른 읽기와 쓰기 속도를 갖춘 애플리케이션을 구축할 수 있다고 강조하네요. 99.999%의 멀티 리전 가용성, 사실상 무제한의 확장성, 제로 인프라 관리 기능을 제공합니다.
AWS는 관계형 데이터베이스 트랜잭션 처리를 재설계해 아마존 오로라 DSQL의 고성능과 정확한 동기화를 구현했습니다. AWS는 오토데스크, 일렉트로닉 아츠, 클라르나, QRT, 레이저페이 등의 기업이 아마존 오로라 DSQL을 검토 중이라고 전했습니다.
AI 모델의 학습을 위한 AI 칩 ‘트레이니움2’ 인스턴스가 출시됐습니다. AWS는 학습용의 ‘트레이니움’과 추론용의 ‘인퍼런시아’를 일찌감치 출시한 바 있죠. 비용 부담이 높아지고 있는 엔비디아 GPU 대신 사용할 수 있는 AI 칩입니다.
트레이니움은 작년 2세대 공개 후 이번 리인벤트에서 정식으로 인스턴스가 출시됐습니다. 그리고 내년 출시될 트레이니움3도 미리 출시했어요.
AWS가 트레이니움 칩에서 모델을 실행할 수 있도록 최적화하는 컴파일러, 런타임 라이브러리, 도구 등을 뉴런 SDK로 제공한다는 점에 주목할 필요가 있습니다. 개발자는 모델을 최적화해 트레이니움 칩에서 최적의 성능을 발휘할 수 있다고 AWS는 강조했는데요. 뉴런은 JAX와 파이토치 같은 인기 프레임워크와 통합됐으며, 구글에서 투자하는 개방형 LLM 컴파일러 ‘오픈XLA’를 활용합니다. 오픈XLA와 작스, 파이토치는 경쟁사의 투자 항목이므로, AWS는 자사 칩의 성공을 위해 경쟁사의 투자를 응원해야 할 것으로 보입니다.
콘텐츠 제공 : 바이라인네트워크(byline.network)
