MS, 소형언어모델 '파이-3' 출시…구글·메타 등과 AI 경쟁
인공지능 투자에 적극적인 마이크로소프트가 소형언어모델 '파이-3 미니'(Phi-3 Mini)를 출시한다. 마이크로소프트(MS)가 소형언어모델(SLM)을 기반으로 한 인공지능을 출시하며 구글, 메타 등과 경쟁을 예고하고 있다.
MS는 자사가 개발한 소형언어모델 '파이-3 미니'(Phi-3 Mini)를 출시한다고 23일(현지시간) 밝혔다. 파이-3 미니는 MS가 앞으로 내놓을 3가지 소형 모델 중 가장 경량 모델이다. 지난해 12월 파이-2를 출시한 바 있는 MS는 파이-3가 이전 버전보다 성능이 더 뛰어나고, 10배 큰 모델 수준의 응답을 제공할 수 있다고 MS는 설명했다.
대형언어모델(LLM)에 비해 SLM은 휴대전화와 노트북과 같은 개인용 기기들에서 작동하며 기계학습과 구동에 드는 비용도 저렴하다. 또한 선별된 고품질 학습 데이터를 사용해 보다 정확한 결과를 얻을 수 있다. 이에 반해 챗GPT의 기반이 되는 대형언어모델의 경우 매개변수(파라미터)가 수천억 개 이상이기 때문에 저장 공간이 많이 필요하며, 실행 시에도 많은 자원이 소모된다.
매개변수는 언어 모델이 문장을 생성하거나 해석할 때 사용되는 변수를 말한다.
MS 생성형 AI 연구 담당 부사장인 세바스티엔 부벡은 "파이-3는 약간이 아니라 획기적으로 비용이 적게 든다"며 "비슷한 기능을 가진 다른 모델들과 비교했을 때 비용이 10분의 1 수준"이라고 말했다. 파이-3 미니의 매개변수(파라미터)는 38억개로, 앞으로 출시될 매개변수 70억개의 파이-3 스몰(Small)이나 140억개의 파이-3 미디엄(Medium)보다도 적은 규모다.
챗GPT의 GPT-4의 경우 매개변수가 5000억개로 추정되고 있다.
SLM은 단순한 작업을 수행할 수 있도록 설계돼 한정된 자원을 가진 기업들이 더 쉽게 사용할 수 있다고 MS는 설명했다. MS 애저 AI 플랫폼의 부사장 에릭 보이드는 "파이-3는 이전 버전에서 학습한 내용을 기반으로 만들었다"며 "파이-1은 코딩에 중점을 뒀고 파이-2는 추론을 배우기 시작했지만, 파이-3는 코딩과 추론에 더 능숙하다"고 설명했다.
이에 따라 LLM 경쟁과 함께 SLM 경쟁도 치열해질 전망이다. 비용과 효율성 측면에서 경쟁력이 있기 때문이다. 구글은 앞서 지난 2월 간단한 챗봇과 언어 관련 작업에 유용한 젬마 2B와 7B를 출시했다. 메타는 지난 18일 '라마3'를 출시하면서 파라미터가 700억개인 거대 모델과 함께 챗봇과 코딩 지원에 사용되는 80억개인 소형 모델도 선보였다. AI 스타트업 앤스로픽도 그래프가 있는 연구 논문을 읽고 빠르게 요약할 수 있는 클로드 3 하이쿠를 출시했다.
“매개변수(파라미터)를 획기적으로 줄인 ‘경량 인공지능(AI)’ 모델은 AI 산업의 지평을 완전히 바꿔놓을 것입니다.”
마이크로소프트(MS)에서 생성형 AI 부문을 책임지고 있는 세바스티앵 부베크<사진> 부사장은 22일 글로벌 20개 매체와의 공동 화상 인터뷰에서 “특정 영역에 특화된 AI 모델이 해당 산업의 혁신을 이끌 것”이라며 이같이 말했다. MS는 챗GPT를 만든 오픈AI의 최대 주주로, 빅테크 가운데 AI 부문에서 가장 앞서 있다는 평가를 받는다. 부베크 부사장은 이런 MS에서 생성형 AI 부문을 맡고 있다. MS는 23일 소규모 AI 모델인 ‘파이(Phi)3’를 선보였다. 그는 “AI 모델이 작다는 것은 스마트폰이나 노트북 등 기기에 특별한 반도체가 없어도 구동될 수 있을 만큼 효율적이라는 뜻”이라며 “그래픽 처리 장치(GPU)가 없고, 인터넷 연결도 안 된 노트북에서 AI 서비스를 자유롭게 쓰는 시대가 본격적으로 시작된다”고 말했다.
AI 모델은 지금까지 AI의 신경세포 격인 매개변수가 많을수록 성능이 좋은 것으로 간주됐다. GPT-3.5는 1750억개 수준에 달한다. 하지만 MS의 파이3는 수십억 단위의 매개변수로만 구동된다. 이 같은 소형 AI 모델은 금융, 법률, 의료 등 좁은 영역에 특화돼 성능을 최대한 정교하게 끌어올린다. 비용은 챗GPT 같은 거대 AI의 10분의 1 수준이다. 부베크 부사장은 “앞으로는 사업자들이 경량 AI 모델을 이용해 자체적으로 AI 서비스를 개발할 수 있게 될 것”이라고 말했다.
'개발자 > 인공지능과 인간' 카테고리의 다른 글
샘 올트먼 “도우미 에이전트가 킬러 기능 될 것” (0) | 2024.05.09 |
---|---|
AI의 가능성: 스탠포드 대학교에서 열린 샘 알트먼의 감동적인 강연 (1) | 2024.05.03 |
Phi-3 소개: SLM의 가능성에 대한 재정의 (0) | 2024.04.25 |
작지만 강력합니다: 큰 잠재력을 지닌 Phi-3 소형 언어 모델 (1) | 2024.04.24 |
로봇의 종류 (0) | 2024.04.24 |
물질을 설계하고 만들기 위해 로봇을 제어할 수 있을까요? (0) | 2024.04.22 |
언어 모델용 합성 데이터에 대한 모범 사례 및 교훈 (2) | 2024.04.12 |
데이터 과학 교육은 대규모 언어 모델로 무엇을 해야 할까요? (0) | 2024.04.11 |
더욱 좋은 정보를 제공하겠습니다.~ ^^