“학습 데이터 구축부터 LLM 파인튜닝 및 성능 평가까지”
“노코드로 LLM 어플리케이션 만들고 운영 및 모니터링도 가능”
DeepNatural이 비즈니스 맞춤형 LLM(대규모 언어 모델)을 위한 원스톱 솔루션, LLM 공방을 새롭게 선보인다. 이 공방에서는 학습 데이터 구축부터 파인튜닝, 성능 평가에 이르는 전 과정을 지원하며, 노코드 방식으로 LLM 어플리케이션을 제작할 수 있는 플랫폼도 제공한다.
◇ 프리미엄 학습 데이터 구축
LLM 파인튜닝은 사전 훈련된 LLM을 특정 도메인이나 작업에 맞게 추가적으로 훈련시키는 과정이다. 이 과정은 모델이 특정 업무에 더 적합하게 작동하도록 하여, 비즈니스의 고유한 요구 사항과 데이터에 맞춤화된 결과를 제공할 수 있도록 한다. LLM 파인튜닝 과정에서는 목적에 맞게 프리미엄 학습 데이터를 기획하고 구축하는 역량이 가장 중요한데, DeepNatural은 2019년부터 더 똑똑한 인공지능을 위한 사람지능 플랫폼 "레이블러"를 개발하며, LLM의 성능을 최고로 끌어올리는 프리미엄 언어 데이터 구축 기법을 발전시켜 왔다.
◇ 맞춤형 LLM 제작
프리미엄 학습 데이터가 준비되면 사전 학습된 LLM을 파인튜닝하여 퍼포먼스를 최대한 끌어올린다. 비즈니스 목적과 LLM 적용 시나리오에 따라 상업적으로 이용 가능한 Mixtral-8x7b, WizardLM-70B 등의 오픈소스 모델을 파인튜닝하여 Private LLM을 제작하거나, Open AI GPT-3.5와 같은 독점 모델을 파인튜닝 할 수 있다. 양자화 기술을 적용하여 모델 사이즈를 축소시키고, 추론 속도를 높이며, GPU 리소스 비용을 감소시킬 수 있다. 성공적인 파인튜닝을 위해서는 섬세하게 구축된 학습 데이터로, 여러 모델을, 다양한 조합의 하이퍼 파라미터와 프롬프트를 적용하여 반복적으로 실시하게 된다. 파인튜닝을 통해 LLM 성능은 큰 차이를 보이기 때문에 기술력, 노하우, 장인정신 모두 필요하다.
◇ LLM 성능 평가 제공
맞춤형 LLM을 개발하는 과정에서는 정확하고 신뢰할 수 있는 성능 평가 방법이 필수적이다. 다양한 기본 모델, 학습 데이터, 프롬프트, 그리고 하이퍼파라미터 설정을 조합하여 만들어진 여러 LLM 버전 중에서 실제로 가장 우수한 성능을 보이는 모델을 선별하여 실제 환경에 적용할 수 있기 때문이다. DeepNatural LLM 공방에서는 비즈니스에 특화된 벤치마크 데이터셋을 활용한 객관적 절대 평가와, 사용자의 실제 사용 경험을 토대로 한 주관적 비교 평가를 결합하여 믿을 수 있는 성능 평가 체계를 구축하고 있다. 이런 성능 평가 지표는 연구 개발 뿐만 아니라 마케팅 전략을 수립하는 데에도 큰 도움이 된다.
◇ No-Code LLM 어플리케이션 제작
LLM을 만드는 것만큼 중요한 것은 그것을 제품과 서비스에 통합하고, 안정적으로 배포 및 관리하는 과정이다. DeepNatural LLMOps는 LLM 애플리케이션을 쉽게 만들 수 있는 도구 LangNode를 제공하여, 코드 작성 없이도 LLM 기반의 애플리케이션을 개발할 수 있게 한다. LangNode에 LLM을 등록하고 나면, 개발자, 기획자, 프롬프트 엔지니어가 함께 협력하여 비즈니스 요구에 맞는 LLM 애플리케이션을 설계하고, 테스트하며, 신속하게 배포할 수 있다. 또한, LLM의 성능을 극대화하기 위해 우수한 프롬프트 엔지니어링이 필수적인데, DeepNatural LLMOps는 이 모든 과정을 노코드 방식으로 지원하여 LLM 애플리케이션의 개발, 테스트, 배포, 운영을 원활하게 할 수 있도록 돕는다.
◇ “AI 바우처 최대 2억원, 데이터 바우처 최대 5천 4백만원 지원”
또한, 자금이 부족한 스타트업, 중소기업, 소상공인에게는 2024년 AI 바우처를 통해 최대 2억원, 데이터 바우처를 통해 최대 5천 4백만원의 비용 지원을 받을 수 있는 기회를 제공한다. 이를 통해 비즈니스에 LLM 도입을 가속화할 수 있다.
DeepNatural의 박상원 대표는 "LLM 공방은 기업이 직면한 AI 도입의 주요 장벽을 해소하고, 비즈니스 혁신을 가속화하는 데 필수적인 서비스이다. 우리는 기업의 성장을 지원하고 AI 기술의 민주화를 실현하기 위해 최선을 다하고 있다." 라고 언급했다. 이어서 "고객사의 다양한 요구에 부응할 수 있는 맞춤형 솔루션 제공을 통해, 누구나 쉽게 고성능 LLM을 활용할 수 있는 환경을 만들겠다는 목표를 가지고 있다." 라고 덧붙였다.
자세한 내용은 [DeepNatural LLM 공방](https://deepnatural.ai/ko/llm-lab) 웹사이트에서 확인할 수 있다.