[메가경제=이동훈 기자] 클라우데라(한국지사장 최승철)가 생성형 AI 개발과 배포를 가속하기 위해 엔비디아(NVIDIA)의 추론 마이크로서비스인 엔비디아 NIM로 구동되는 ‘클라우데라 AI 인퍼런스(Cloudera AI Inference)’를 출시했다고 밝혔다.
클라우데라 AI 인퍼런스는 업계 최초로 NIM 기능을 제공하는 AI 추론 서비스 중 하나다. 대규모 AI 모델의 배포와 관리를 혁신적으로 간소화해 기업이 데이터를 최대한으로 활용하고, 생성형 AI를 파일럿 단계에서 완전 생산 단계로 완성할 수 있게 한다.
딜로이트(Deloitte)의 최근 조사에 따르면 기업의 생성형 AI 도입은 규제 리스크와 거버넌스 문제에도 불구하고 빠른 속도로 진행되고 있으며, 올 3분기에 3분의 2 이상의 기업이 생성형 AI 예산을 늘린 것으로 나타났다. 규제, 거버넌스 문제를 해결하기 위해서는 AI 모델과 애플리케이션을 온프레미스나 퍼블릭 클라우드에서 안전하게 운영해야 한다. 이 경우에는 직접 복잡한 접근 방식은 지양하고, 보안성과 확장성을 갖춘 솔루션이 필요하다.
클라우데라 AI 인퍼런스는 기업이 안전한 개발과 배포를 진행할 수 있도록 민감한 데이터가 비공개 영역을 벗어나 공급업체가 호스팅하는 AI 모델 서비스로 유출되는 것을 방지한다. 해당 서비스는 엔비디아 기술을 기반으로 신뢰할 수 있는 데이터를 구축해 신뢰할 수 있는 AI를 지원한다. 결과적으로 빠른 속도로 AI 챗봇, 가상 비서, 에이전트 애플리케이션의 효율적인 개발을 도와 기업의 생산성 향상과 신규 사업 성장에 기여한다.
개발자들은 엔비디아 텐서코어(Tensor Core) GPU를 사용해 최대 36배 더 빠른 성능과 CPU 대비 약 4배 더 높은 처리량으로 엔터프라이즈급 대형 언어 모델(LLM)을 구축, 맞춤화, 배포할 수 있다.
또한 UI, API가 엔비디아 NIM 컨테이너와 직접 통합돼 명령줄 인터페이스(CLI), 별도의 모니터링 시스템이 필요없어 원활한 사용자 경험을 느낄 수 있다. 클라우데라 AI 모델 레지스트리와의 서비스 통합은 모델 엔드포인트와 운영에 대한 접근 제어를 관리해 보안과 거버넌스를 강화한다. 사용자는 LLM 배포나 기존 모델 전부를 하나의 서비스에서 원활하게 관리할 수 있는 통합 플랫폼의 이점을 누릴 수 있다.
카리 브리스키(Kari Briski) 엔비디아 AI 소프트웨어 부사장은 “기업들은 비즈니스 성과 창출을 위해 생성형 AI를 기존 데이터 인프라와 원활하게 통합해야 한다”며, “엔비디아 NIM을 클라우데라 AI 인퍼런스 플랫폼에 통합해 개발자들이 신뢰할 수 있는 생성형 AI 애플리케이션을 쉽게 만들 수 있도록 지원하고, 자립형 AI 데이터 플라이휠을 육성할 수 있도록 지원하고 있다”고 말했다.
[ⓒ 메가경제. 무단전재-재배포 금지]
