AI 붐 이후 반도체 업계의 질문은 늘 같았습니다.
🤔“누가 NVIDIA를 이길 수 있는가?”
🙅♂️ “없다.”
그런데 최근 분위기가 조금 달라지고 있습니다. 이제 업계는 “엔비디아를 꼭 이겨야 하는가?”라는 질문을 던지기 시작했거든요. 이유는 AI 산업의 중심이 학습(Training)에서 추론(Inference)으로 이동하고 있기 때문입니다. 학습은 AI 모델을 만드는 과정입니다. 수개월 동안 엄청난 데이터를 GPU 수만 장에 밀어 넣는 작업이죠. 하지만 한 번 모델을 만들고 나면 끝납니다.
반면 추론은 다릅니다. 누군가 챗GPT에 질문을 던질 때마다, 클로드에 코드 작성을 부탁할 때마다, 그 순간마다 계속 발생하는 작업이거든요. 문제는 엔비디아 GPU가 원래부터 추론 전용으로 만들어진 칩은 아니라는 점입니다. GPU는 범용 연산에 강하지만, 짧은 요청에 빠르게 응답해야 하는 추론 환경에서는 수천 개 코어 중 상당수가 놀게 되는 경우도 생깁니다. 학습은 몇 달에 한 번 하는 대규모 이벤트지만, 추론은 24시간 멈추지 않는 일상에 가깝거든요. 전기는 계속 먹는데 효율은 떨어지는 거죠. 그래서 최근 업계에서는 “추론만을 위한 전용 칩(ASIC)을 따로 만들자”는 흐름이 강해지고 있습니다.
이 변화를 가장 빨리 읽은 기업 중 하나가 구글입니다. 구글은 이미 2015년부터 자체 AI 칩 TPU 개발을 시작했는데요. 지난 4월 22일 구글 클라우드 넥스트 행사에서 8세대 TPU를 공개했습니다. 발표 직후 엔비디아 주가가 약 1.5% 하락했다가 회복되기도 했죠.
이번 TPU의 핵심은 “분리”입니다. 구글은 처음으로 학습용 TPU 8t와 추론용 TPU 8i를 따로 만들었습니다. 학습과 추론은 요구 조건 자체가 다른데, 지금까지는 같은 칩으로 처리해온 게 비효율이었다는 판단이 반영된 거죠. 특히 추론 전용 TPU 8i는 전 세대 대비 달러당 성능이 80% 향상됐고, 384MB SRAM을 넣어 응답 속도도 높였습니다.
그리고 구글은 말만 한 게 아닙니다. 앤트로픽과 최대 100만 개 TPU 구매 계약 체결, 메타와 TPU 임차 계약 진행, 구글 스스로도 제미나이 3를 엔비디아 GPU 없이 TPU만으로 학습시켰거든요. “우리 칩 진짜 된다”는 걸 자기들이 먼저 증명한 셈입니다.
아마존도 방향은 다르지만 결론은 비슷합니다. 아마존은 오히려 추론용 칩 인퍼렌시아(Inferentia)를 먼저 만들고, 이후 학습용 트레이니엄(Trainium)을 내놨는데요. 지난해 공개한 트레이니엄3는 전 세대 대비 성능이 4.4배, 전력 효율은 4배 개선됐습니다. 아마존은 특정 워크로드에서 엔비디아 GPU 대비 최대 50% 비용 절감이 가능하다고 주장하고 있습니다.
결국 구글과 아마존이 원하는 건 같습니다. 엔비디아를 정면으로 이기는 것이 아니라, “엔비디아 없이도 돌아가는 생태계”를 만드는 겁니다.
엔비디아도 가만히 있지는 않았습니다. 지난해 12월 AI 추론 스타트업 그록(Groq)의 자산을 200억 달러에 인수했는데요. 엔비디아 역사상 최대 규모 딜입니다.
그록은 원래 구글 TPU 개발을 주도했던 엔지니어들이 나와 만든 회사인데요. GPU 대신 LPU(Language Processing Unit)라는 완전히 다른 구조의 추론 칩으로 시장을 공략해왔습니다. 올해 GTC 2026에서 공개된 그록3 LPU는 H100 대비 약 45배 빠른 메모리 대역폭을 내세웠습니다.
다만 엔비디아 전략은 단순하지 않습니다. GPU를 버리고 LPU로 갈아타겠다는 게 아니거든요. GPU는 입력 처리(Prefill), LPU는 응답 생성(Decode)을 맡는 식으로 역할을 나누는 구조입니다. 기존 CUDA 코드를 그대로 활용할 수 있어서 고객 입장에서 전환 비용이 거의 없다는 것도 강점으로 꼽힙니다.
그리고 이 전쟁에는 한국 스타트업들도 뛰어들어 있습니다.
대표 주자는 리벨리온과 퓨리오사AI인데요. 둘 다 학습 대신 추론에 집중하는 전략을 택했습니다. 엔비디아가 장악한 학습 시장 대신, 상대적으로 비어 있던 추론 시장 틈새를 노린 거죠. 리벨리온은 지난달 추론 칩 ‘리벨100’을 공개했습니다. FP16 연산 성능이 1PFLOPS 수준으로 엔비디아 H200과 비슷한 수준인데요. KT클라우드가 이미 주문했고, SK텔레콤도 리벨리온 NPU 카드를 활용한 AI 서버를 개발 중입니다. 퓨리오사AI도 이미 추론 칩 ‘레니게이드(RNGD)’를 판매하고 있습니다. LG AI연구원이 엑사원에 도입했고, 삼성SDS 역시 오는 7월 해당 칩 기반 클라우드 서비스를 출시할 예정입니다.
다만 상황은 조금 복잡해졌습니다. 엔비디아가 직접 추론 시장으로 들어오면서, 한국 기업들이 노렸던 바로 그 틈새에 엔비디아까지 들어온 셈이거든요. 그럼에도 아직 게임이 끝난 건 아닙니다. 엔비디아의 그록3 LPU는 2026년 3분기 출하 예정인 반면, 리벨리온과 퓨리오사AI는 이미 양산 단계에 들어갔기 때문입니다.
결국 마지막 승부는 “칩 성능”만으로 결정되지 않을 가능성이 큽니다. 네이버 하이퍼클로바X, LG 엑사원, 카카오 카나나, 업스테이지 솔라 같은 한국 LLM이 실제 시장에서 얼마나 많이 사용되느냐. 그 수요가 커져야 추론 비용을 줄이려는 움직임도 커지고, 결국 한국 추론 칩 시장도 함께 성장할 수 있기 때문입니다. 결국 AI 추론 칩 전쟁의 승부는 반도체 회사만이 아니라, 한국 AI 생태계 전체가 얼마나 빨리 성장하느냐와 함께 결정될 가능성이 커 보입니다.
콘텐츠 제공 : 바이라인네트워크(byline.network)
