[메가경제=황성완 기자] LG유플러스가 인공지능(AI) 시대의 새로운 경쟁력으로 '토큰 최적화(Token Optimization)'를 내세우며 AI 기술 고도화와 기업간거래(B2B) 사업 확대에 나선다.

 

AI 모델의 성능을 높이는 기존 경쟁에서 나아가, 실제 업무에 필요한 토큰 소비량과 운영 비용을 줄여 AI 서비스의 경제성을 확보하겠다는 구상이다.

 

▲이상엽 LG유플러스 최고기술책임자(CTO)가 지난 13일 위드스페이스에서 진행된 토큰 스터디를 통해 발언하고 있다. [사진=메가경제]

 

LG유플러스는 지난 12일 토큰 스터디를 개최하고, AI 시대의 새로운 최적화 경쟁을 주제로 기술 전략과 연구 방향을 소개했다고 15일 밝혔다. 

 

이날 스터디에는 이상엽 최고기술책임자(CTO), 이혜진 기술전략담당, 권기덕 AX엔지니어링랩장, 김현민 소버린클라우드사업팀장 등이 참석했다.

 

이날 이상엽 CTO는 AI 산업의 경쟁이 모델 성능 중심에서 비용 효율성 중심으로 확대되고 있다고 강조했다.

 

AI가 일상생활과 기업 업무 전반에 활용되면서 모델을 얼마나 잘 만드는지뿐 아니라, 동일한 업무를 얼마나 적은 비용으로 수행할 수 있는지가 중요한 경쟁 요소로 떠올랐다는 설명이다.

 

이 CTO는 AI 모델의 경량화를 예로 들며 단순히 데이터나 연산량을 줄이는 것만으로는 최적의 성과를 얻기 어렵다고 설명했다. 핵심적인 업무의 품질은 유지하거나 높이면서 불필요한 연산을 최소화해야 한다는 것이다.

 

그는 LG유플러스의 궁극적인 목표가 개별 토큰 가격을 낮추는 데 그치지 않고 하나의 업무를 완료하는 데 필요한 전체 비용을 줄이는 것이라고 밝혔다.

 

이를 위해 서비스 운영부터 AI 에이전트, 모델, 반도체 인프라까지 연결하는 엔드투엔드(E2E) 최적화 전략을 추진한다.

 

이 CTO는 "목표는 토큰 단가와 함께 업무 하나에 드는 비용을 낮추는 것"이라며 전체 기술 스택을 함께 고려하는 최적화가 중요하다고 강조했다.

 

LG유플러스는 자체 AI 서비스 운영 경험과 전문기업 협력, AI 에이전트 기반 자동화 기술을 결합해 토큰 비용을 최소화한다는 방침이다. 특히 엔비디아와 AMD 등 글로벌 반도체 기업뿐 아니라 국내 AI 반도체 기업 퓨리오사AI와의 협력도 확대하고 있다.

 

이 CTO는 각 반도체가 고유한 장점을 갖고 있는 만큼 하드웨어 특성을 이해하는 전문기업과의 협력이 중요하다고 설명했다. 퓨리오사AI와도 2년 이상 엑사원 기반 모델을 중심으로 기술 협력을 진행해 왔다고 밝혔다.

 

이어 구글 등 글로벌 빅테크 기업과의 협력도 병행하면서 자체 기술 경쟁력을 강화해 외부 AI 모델에 대한 의존도를 낮추겠다는 방향을 제시했다.

 

▲이혜진 LG유플러스 기술전략담당이 지난 13일 진행된 토큰 스터디에서 토큰 최적화 기술에 대해 설명하고 있다. [사진=메가경제]

◆ "AI 비용 중심, 학습서 추론으로 이동"

 

이혜진 기술전략담당은 글로벌 AI 산업의 변화와 토큰 최적화 기술의 필요성을 설명했다. 이 담당은 AI가 이용자의 질문에 답하거나 복잡한 업무를 수행하는 과정에서 토큰이 지속적으로 소비되며, 서비스가 고도화될수록 운영 비용도 증가한다고 분석했다.

 

특히 AI 산업의 비용 중심이 기존 모델 학습에서 실제 서비스를 운영하는 추론 영역으로 이동하고 있다는 점에 주목했다.

 

LG유플러스가 제시한 자료에 따르면 일반 생성형 AI는 작업당 약 3000개의 토큰을 사용하는 반면, 여러 작업을 자율적으로 처리하는 에이전트 AI는 약 20만 개의 토큰을 소비하는 것으로 나타났다.

 

향후 로봇 등 물리적 환경에서 작동하는 피지컬 AI는 약 100만~1000만 개의 토큰을 사용할 수 있다는 분석도 제시했다.

 

일반 생성형 AI와 비교하면 에이전트 AI는 약 67배, 피지컬 AI는 약 333~3333배에 달하는 수준이다. 다만 실제 토큰 소비량은 모델과 업무 환경에 따라 차이가 발생할 수 있다.

 

이 담당은 같은 토큰이라도 처리 방식에 따라 비용이 달라질 수 있다고 설명했다. AI가 입력된 정보를 처리하는 프리필(Prefill)과 답변을 생성하는 디코딩(Decoding) 단계에서 각각 다른 연산 자원이 활용되기 때문이다.

 

이에 따라 AI 모델의 성능뿐 아니라 업무 특성에 맞는 모델을 선택하고 불필요한 연산을 줄이는 기술이 중요해지고 있다는 분석이다.

 

글로벌 빅테크 기업들도 소형 AI 모델과 효율적인 추론 기술, 맞춤형 반도체 등을 활용해 동일한 업무를 보다 적은 비용으로 수행하는 데 집중하고 있다.

 

LG유플러스는 이러한 변화에 대응하기 위해 AI 서비스를 구성하는 전 과정의 원가를 최적화하는 '토큰 최적화 스택(Stack)'을 구축하고 있다.

 

기술 영역은 에이전트(Agent), AI 게이트웨이(AI GW), 모델 파운드리(Model Foundry), 컴퓨트(Compute) 등 4개로 구분된다.

 

에이전트 영역에서는 불필요한 작업 반복을 줄이고, AI 게이트웨이에서는 업무별로 적합한 AI 모델을 선택한다. 모델 파운드리에서는 AI 모델을 경량화하고 추론 속도를 높이며, 컴퓨트 영역에서는 반도체 자원을 효율적으로 활용하는 방식이다.

 

LG유플러스는 이를 개인 고객용 AI 서비스(B2C), 기업용 AI 솔루션(B2B), 사내 업무 자동화(AX) 등 다양한 서비스에 적용할 계획이다.

 

▲권기덕 LG유플러스 AX엔지니어링랩장이 지난 13일 진행된 토큰 스터디를 통해 연구 중인 구체적인 토큰 적용 방안을 소개하고 있다. [사진=메가경제]

◆ 모델·GPU 최적화 기술 공개…구체적 적용 방안 소개

 

권기덕 AX엔지니어링랩장은 LG유플러스가 연구 중인 토큰 최적화 기술과 구체적인 적용 방안을 소개했다.

 

먼저 AI 에이전트 영역에서는 '하네스 엔지니어링(Harness Engineering)'을 활용한다. 하네스는 AI 에이전트가 업무를 수행할 때 어떤 도구를 활용하고 어떤 순서로 작업을 처리할지 관리하는 실행 구조다. 불필요한 탐색이나 반복 작업을 제한해 토큰 소비를 줄이면서 답변 품질을 확보하는 기술이다.

 

LG유플러스는 관련 기술의 효과를 설명하면서 외부 참고 사례를 통해 일반 작업에서 약 38%, 코딩 영역에서 약 84%의 토큰 사용량을 절감할 수 있다는 수치를 소개했다.

 

AI 게이트웨이 영역에서는 업무 특성에 맞는 모델을 자동으로 선택하는 '모델 라우팅(Model Routing)' 기술을 적용한다.

 

간단한 질문은 소형 모델이 처리하고 복잡한 분석은 고성능 모델이 담당하도록 구분해 불필요한 연산을 줄이는 방식이다.

 

LG유플러스는 개념검증(PoC) 및 내부 서비스 적용 사례에서 답변 품질을 약 95% 수준으로 유지하면서 토큰 비용을 약 25% 절감하는 효과를 확인했다고 밝혔다. 코딩 에이전트 영역에서도 약 30%의 비용 절감 성과를 제시했다.

 

모델 파운드리 영역에서는 양자화(Quantization), 지식 증류(Knowledge Distillation), 추측 디코딩(Speculative Decoding) 등을 활용한다.

 

양자화는 연산에 사용되는 숫자의 정밀도를 낮춰 모델의 메모리 사용량을 줄이는 기술이다. 지식 증류는 대형 AI 모델의 학습 성과를 소형 모델에 전달해 적은 연산 자원으로 유사한 성능을 구현하는 방식이다.

 

추측 디코딩은 작은 모델이 답변을 먼저 예측하고 큰 모델이 이를 검증하는 방식으로, 답변 품질을 유지하면서 생성 속도를 높이는 데 활용된다.

 

LG유플러스는 이러한 경량화 기술을 자체 AI 통화 서비스인 익시오에 적용하고 있으며, 모델 성능과 추론 효율을 높이는 연구를 지속하고 있다.

 

컴퓨트 영역에서는 GPU 연산을 보다 효율적으로 처리하기 위한 커널 최적화와 '칩 믹스(Chip-Mix)' 기술을 추진한다.

 

특히 AI 에이전트를 활용해 GPU 커널 최적화 과정을 자동화하는 기술도 연구하고 있다. 여러 AI 에이전트가 반복적으로 최적화 방안을 도출하고 전문가가 최종 검증하는 방식이다.

 

권 랩장은 AI 연산이 완료된 정보를 캐시 메모리에 저장해 재활용하고, 디코딩 과정에 적합한 반도체를 활용하면 토큰 생성 속도를 높일 수 있다고 설명했다.

 

또한 대규모 AI 모델 전체를 매번 구동하는 대신 필요한 일부 모델만 활성화하는 방식으로 연산 자원을 효율적으로 활용하는 방안도 소개했다.

 

LG유플러스는 엔비디아 GPU와 AMD GPU, 퓨리오사AI NPU 등 다양한 반도체의 특성을 조합해 AI 서비스 운영 비용을 낮추는 기술을 고도화할 계획이다.

 

◆ 내년 토큰 최적화 B2B 사업 추진…실제 비용 절감 효과 변수

 

LG유플러스는 토큰 최적화 기술을 자체 AI 서비스에 적용하는 데 그치지 않고 외부 기업을 대상으로 한 B2B 사업으로 확대할 계획이다.

 

김현민 소버린클라우드사업팀장은 스터디 이후 진행된 Q&A를 통해 "토큰 최적화 관련 사업화 계획에 대해 내년부터 협력사들과 함께 토큰 사용 비용을 줄여주는 사업을 추진하겠다"고 밝혔다.

 

이상엽 CTO 역시 LG유플러스가 통신 서비스를 운영하며 축적한 경험을 기반으로 기업 고객의 업무 특성에 맞는 AI 최적화 기술을 제공할 수 있다고 강조했다.

 

특히 기업 고객의 요구에 맞춰 AI 모델과 서비스, 인프라를 함께 설계해야 실질적인 비용 절감 효과를 거둘 수 있다는 설명이다. 다만 토큰 최적화에 따른 비용 절감이 익시오 등 기존 AI 서비스의 무료화나 유료화 정책에 직접적인 변화를 가져올지는 아직 결정되지 않았다.

 

이 CTO는 익시오의 무료 서비스 정책과 관련해선 "추가적인 내부 논의가 필요하다"고 강조했다,

[ⓒ 메가경제. 무단전재-재배포 금지]