SKT(SK텔레콤)이 통신사의 내부 지침을 학습한 이른바 한국형 '텔코LLM'을 오는 6월까지 개발 완료하고 출시에 나선다. 텔코LLM은 통신사를 뜻하는 '텔코'와 거대언어모델(Large language model)을 의미하는 'LLM'의 합성어.

텔코는 5G 요금제, T멤버십, 공시지원금 등 통신 전문 용어 및 AI 윤리가치와 같은 통신 서비스를 잘 이해하는 LLM을 표방한다. GPT, 클로드와 같은 범용 LLM이 아니라 통신업에 특화된 LLM이다. 

SKT는 30일 서울 중구 SKT타워 4층 수펙스홀에서 텔코LLM 기자설명회를 열었다.

에릭 데이비스 SKT AI Tech Collaboration담당은 텔코LLM의 구축 과정을 4단계(◀학습 데이터 구축 ◀ Fine-tuning(파인튜닝)◀RLHF(Reinforcement Learning from Human Feedback, 휴먼 피드백 강화 학습) ◀모델 평가)로 설명했다.

텔코LLM은 SKT 에이닷엑스(A.X), 오픈AI의 GPT, 앤트로픽의 클로드 등의 범용모델을 기반으로 튜닝했다. SKT는 이를 두고 '멀티 LLM 전략의 일환'이라고 강조했다.

데이비스 담당은 "1개의 범용 LLM으로 통신사들이 하려는 서비스와 문제를 해결하는 것은 쉽지 않을 것"이라며 "통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티LLM 전략"이라고 설명했다.

데이비스 담당은 텔코LLM의 장점으로 ◀전문성 ◀속도 ◀비용·효율성을 꼽았다.

SKT는 협력을 통해 에이닷엑스(A.X)와 오픈AI의 GPT-4, 앤트로픽의 클로드에 한국어로 된 통신 관련 데이터를 학습시켜 여러가지 텔코LLM을 개발 중이다.

SKT에 따르면 범용LLM 대비 텔코LLM은 통신 영역에서 높은 수준의 생성형 AI작업을 수행할 수 있어 활용성이 높다.

범용 LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어려운 반면, 텔코LLM은 통신 관련 데이터를 추가로 학습해 문제 해결이 가능하다. 이를 해결하는 과정이 텔코LLM의 '파인튜닝'이다.

파인튜닝이 된 텔코LLM은 휴먼 피드백 기반의 강화학습을 거친다. 실제 텔코LLM이 답변한 내용을 기반으로 상담사들이 품질, 만족도 등을 평가하는 과정을 거쳐 고객의 문의에 유용한 답변을 했는지, 문맥을 제대로 이해했는지 등을 채점하는 것이다.

통신사의 네트워크 인프라 운용에도 텔코LLM을 활용할 수 있다. 인프라 운용자가 네트워크 모니터링 중 문제가 발생하면, 실시간으로 텔코LLM에 질문을 입력해 해결 방안을 답변으로 받아보는 방식이다.

SKT는 향후 인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코LLM을 확대 적용할 계획이다.

정민영 SKT AI플랫폼 담당은 "고객센터, 인프라 뿐만 아니라 마케팅/유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것"이라며 "텔코LLM을 활용한 사용 사례를 늘려가겠다"고 밝혔다.

정 담당은 텔코LLM의 도입시점에 대해 "태스크 단위 개발이 6월초에 마무리될 것으로 예상된다"며 "연내 정도 고객센터에 적용할 수 있을 것"이라고 했다. 실제 테스트를 거친 상용화 시점이다.

또한 SKT는 '인텔리전스 플랫폼'도 공개했다. 해당 플랫폼은 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축, 개발할 수 있게끔 하는 것을 지향한다. 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG; Retrieval Augmented Generation) 등을 아우르는 일종의 ‘기업용 AI 개발·운용 패키지’다.

SKT는 인텔리전스 플랫폼을 현재A.(에이닷) 등의 서비스 등에 적용 중이며, 적용 사례를 지속 확대할 예정이다.

사진=SKT 제공

김상록 기자 kdf@kdfnews.com