[서울타임즈뉴스 = 허성미 기자] LG유플러스가 AI 모델 최적화 전문기업 옵트에이아이와 손잡고 AI 운영에 필요한 GPU와 전력 사용을 줄이는 토큰 최적화 기술을 공동 연구한다고 2일 밝혔다. 현재 진행 중인 연구에서는 하나의 GPU가 처리할 수 있는 토큰량을 기존보다 최대 4배 높였다.

LG유플러스는 실제 AI 서비스를 운영하면서 쌓은 경험을 바탕으로 기술 검증과 적용을 맡는다. 옵트에이아이는 AI 모델의 크기와 연산량을 줄여 빠르게 구동하는 기술을 개발한다. 토큰은 AI가 이용자의 질문을 이해하고 답변을 만들 때 처리하는 데이터의 기본 단위다. 하나의 GPU에서 처리하는 토큰량이 늘어나면 장비를 추가하지 않고도 더 많은 요청을 받을 수 있다. AI 서비스가 늘어나면서 GPU와 전력 사용도 함께 증가하고 있어 두 회사는 기존 자원을 보다 효율적으로 사용하는 방법을 찾고 있다.

두 회사의 협업은 스마트폰에서 AI를 구동하는 온디바이스 분야에서 먼저 시작됐다. ‘엑사원(EXAONE)’ 기반 소형언어모델(sLM)의 크기와 연산량을 줄여 스마트폰에 탑재된 AI 전용 반도체 NPU에서 구동할 수 있도록 했다. 성능은 기존 CPU 방식과 같은 수준을 유지했다. 반면 전력 소모는 78% 줄었고 모델 크기도 82% 작아졌다. 사용할 수 있는 전력과 연산 자원이 제한된 스마트폰에서 모델 경량화 기술을 먼저 적용해본 것이다.

이번에는 연구 범위를 서버 GPU로 넓힌다. 여러 이용자가 동시에 AI 서비스를 사용하더라도 기존 GPU 자원으로 더 많은 요청을 처리하는 기술을 연구한다. 답변을 생성할 때 거치는 연산 과정을 실제 서비스 환경에 맞춰 손본 결과, 현재까지 처리 가능한 토큰량을 기존보다 최대 4배 높였다.

양사는 지난 1일 ‘Efficient AI 테크 세미나’도 공동 개최했다. 퓨리오사AI와 베슬에이아이(VESSL AI), 한국전자기술연구원(KETI), 한양대학교 등이 참석했다. AI 모델 최적화부터 AI 반도체, 실제 서비스에 적용한 사례까지 각 분야의 연구 내용과 경험을 공유했다. LG유플러스는 공동 연구에서 확보한 기술을 자사 AI 서비스와 대규모 AI 인프라 운영 환경에 차례로 적용할 계획이다.

이상엽 LG유플러스 CTO는 “AI 경쟁력은 단순히 성능을 높이는 것을 넘어 같은 자원으로 얼마나 많은 토큰을 효율적으로 처리할 수 있느냐에 달려 있다”며 “옵트에이아이를 비롯한 다양한 파트너들과 협력해 토큰 최적화 기술 연구를 확대하고 실제 서비스에 적용할 수 있는 성과를 만들어 나가겠다”고 말했다.

이재호 옵트에이아이 대표는 “생성형 AI 시대에는 높은 성능만큼이나 운영 효율을 확보하는 것이 중요해지고 있다”며 “LG유플러스와 함께 실제 서비스 환경에서 검증 가능한 AI 최적화 기술을 고도화하겠다”고 말했다.