Meta 오픈소스 AI를 꿈꾸다!
[2024년 04월 25일자 Tech잇슈, Biz Trend Letter에서 발췌]
페이스북, 인스타그램, 스레드 등을 운영하고 있는 곳으로 유명한 “메타”가 2024년 04월 24일 자신들의 대표적인 생성형 AI 모델인 “라마(LLaMA)3” 업데이트 소식을 전했습니다. 메타는 이번 소식을 전하면서 “라마 3은 다른 모델과 비교(벤치마크)했을 때 최고의 성능을 보였습니다. 추론 기능을 포함해 동급 최고의 오픈소스 모델입니다.”라고 발표했는데요. 잠시 벤치마크 기록을 살펴보면 아래와 같습니다.
이미지 출처: Meta
먼저, 라마3은 파라미터 수에 따라 8B(80억 개), 70B(700억 개) 두 개의 버전으로 공개했습니다. 여기서 말하는 파라미터란 복잡한 요청에도 더욱 정확한 답변을 내기 위한 함수 정도로 보시면 되는데요. 통상적으로 파라미터가 클수록 성능이 좋아지기 때문에 비슷한 파라미터수를 가진 모델들과 성능을 비교하는 것이 일반적으로, 라마3 역시 작은 모델과 큰 모델을 나누어서 벤치마크를 실시했습니다.
결과는 보시는 것처럼 각각 대부분의 지표에서 가장 높은 성능을 기록했습니다. 참고로, 비교군으로 선정된 모델들은 현시점에서 가장 높은 성능을 자랑하는 모델들로 ‘Gemma’와 ‘Gemini Pro 1.5’는 구글의 모델이며, ‘Claude 3 Sonnet’은 OpenAI의 최대 경쟁사인 앤쓰로픽(Anthropic)의 모델입니다.
벤치마크에서 주목할 점은 역시 가장 위에 있는 MMLU 항목입니다. MMLU란 Massive Multitask Language Understandig의 약자로 과학, 기술, 공학, 수학, 인문학, 사회과학 등 약 57개의 분야의 질문들을 기반으로 AI 모델을 평가하는 것을 말하는데요. 이는 AI를 평가하는 가장 대표적인 지표 중 하나로, 해당 지표에서 가장 높은 성능을 기록했기에 자신들이 최고의 성능이라 발표한 거라 볼 수 있습니다.
Meta가 내놓은 라마3는 오픈소스!
라마 3 모델이 최고의 성능을 기록했다는 사실도 중요하지만, 더 중요한 것은 라마 3가 ‘동급 최고의 오픈소스 모델’이라는 사실입니다. 메타는 생성형 AI 시대 초기부터 기술의 접근성과 활용 가능성을 높이기 위해 계속해서 오픈소스로 모델을 공개해 왔는데요. 전 세계 개발자들이 자신들의 모델을 자유롭게 사용하고, 개선하도록 장려하면서 AI 기술 민주화에 많은 기여를 하고 있습니다.
이미지 출처: AI Alliance
‘AI 얼라이언스’의 출범은 이러한 노력의 대표적인 사례라고도 볼 수 있습니다. AI 얼라이언스란 AI 기술을 개방함으로써 모두에게 혜택을 주고 책임감 있게 구축하자는데 목적을 두고 출범했습니다. 메타를 비롯해 IBM, AMB, 인텔 등의 글로벌 테크 기업이 주축으로 활동하고 있고 코넬대, 버클리, 예일대 등의 대학교와 나사 등의 국가기관도 포함되어 있습니다. 최근에는 국내 기업 중에서 카카오가 최초로 AI 얼라이언스에 참여했다는 소식이 전해지기도 했어요.
Meta는 땅파서 장사하나?
생성형 AI 모델을 학습하는 데에는 천문학적인 금액이 들어간다고 알려져 있습니다. OpenAI가 GPT-4를 학습시키기 위해 대당 3천만 원이 넘는 GPU(A100)를 1만 개 이상 사용했다고 전해지는데요. 메타에서도 이에 못지않은 비용이 투자됐을 텐데, 왜 무료로 공개하는 걸까요?
표면적인 이유는 역시 앞서 언급한 ‘AI 얼라이언스’의 목적과 궤를 같이 합니다. AI 기술이 일상생활 깊숙이 들어오면서 이로 인해 발생할 수 있는 다양한 문제들을 공동으로 방지하고 규제해야 한다는 것이죠. 특히, 하나의 기업이 고도의 기술을 독점하게 되면 소비자들이 이에 의존하게 되는 문제가 발생할 수 있어 기술을 나눠 가져야 한다는 것이 이들의 주장이에요. 그러나 이는 말 그대로 공식적인 명분일 뿐, 실제 이유는 따로 있을 것으로 추측됩니다.
가장 큰 이유는 OpenAI와 경쟁 구도를 형성하기 위한 전략이었을 가능성이 높습니다. OpenAI가 압도적으로 높은 성능의 ChatGPT를 불시에 출시하면서 이를 단기간에 따라잡기는 쉽지 않은 상황이었고, 어설프게 따라잡으려 하다가는 구글처럼 미끄러질 우려가 있었거든요. 그렇다고 기업의 경쟁력이 AI로 재편되는 시기에 마냥 손을 놓고만 있을 수도 없었습니다. 이에, 의도적으로 오픈소스 vs 폐쇄소스 구도를 만들고 오픈소스 진영의 대장이 되어 영향력을 높이려는 전략을 취한 것이죠.
라마가 오픈소스로 공개됐던 과정은 이 추측을 뒷받침해주고 있습니다. 우선, 라마는 처음부터 오픈소스로 공개됐던 것은 아니었는데요. 2023년 3월, 메타 내에서 연구용으로만 개방됐던 모델이 일반인들에게 유출되는 사건이 발생합니다. 그리고 유출된 모델을 기반으로 훈련된 ‘알파카’, ‘비쿠냐’의 성능이 라마를 한참 뛰어넘은 것은 물론 당시 구글의 생성형 AI 모델인 ‘바드(Bard)’와 근접한 성능을 보여주었는데요. 이 사건을 통해 자연스럽게 오픈소스의 가능성을 확인했고, 약 4개월 뒤 메타는 라마를 공식적으로 오픈소스로 전환하며 오픈소스 진영의 대표주자로 자리매김하게 됐습니다.
당시 구글은 해당 사건에 대해 “메타는 라마 유출로 인해 오히려 더 좋은 결과를 얻어냈으며, 구글도 오픈소스화 해야 하는 것은 아닌지 고민된다”라는 평을 남기기도 했습니다.
두 번째 이유는 메타의 비즈니스 모델이 경쟁사와 다르기 때문입니다. 현재 생성형 AI의 대표주자는 마이크로소프트와 구글로, 각각 클라우드 서비스를 운영하고 있는 곳인데요. 이들은 각자의 생성형 AI 모델을 클라우드에 탑재하여 경쟁력을 높이고 있으며, 이밖에도 Office, Copilot, Worksheet 등 소프트웨어에도 적극적으로 활용하고 있습니다.
반면, 메타는 주요 수익원이 SNS의 광고 수익이기 때문에 상대적으로 활용수단이 제한적입니다. 이에 따라 메타의 모델을 적극적으로 활용하도록 권장하여 강력한 오픈소스 생태계를 만들고, 자연스럽게 경쟁사의 경쟁력을 약화시키는 전략을 취한 것으로 볼 수 있습니다. 이른바 “나도 못 팔면 너도 못 판다” 전략이랄까요?
실제로 라마 3 모델은 AWS, 마이크로소프트 애저, 구글 클라우드 등의 대표적인 클라우드 위에서 사용할 수 있으며, 데이터브릭스, 스노오플레이크와 같은 서비스에도 모델을 제공할 예정이에요. 또한, 엔비디아와 퀄컴과 같은 하드웨어 기업과의 파트너십을 통해 학습 및 서비스 지원을 강화하면서 오픈소스 생태계의 확장을 이루고자 노력하고 있습니다.
이미지 출처: Smart Insight
또한, 생성형 AI 모델의 경우 콘텐츠 제작에도 많이 활용되고 있습니다. 이렇게 생성된 콘텐츠들은 높은 확률로 플랫폼에 업로드될 텐데요. 이는 전 세계 소셜 플랫폼 순위에서 1, 3, 4, 7위 자리를 차지하고 있는 서비스를 보유하고 있는 메타의 플랫폼 사용량 증가로 이어진다는 의미입니다. 즉, 전 세계적으로 AI를 활용하여 누구나 쉽게 콘텐츠를 생성할 수 있게 되면, 그 자체로 메타에게 유리한 환경이 조성되는 것이라 볼 수 있습니다.
앞으로 중요한 것은 서비스화
이유야 어찌 됐든 메타가 오픈소스 진영으로 돌아서면서 AI 산업이 흥미롭게 전개되고 있습니다. 물론, OpenAI에서 GPT-5를 공개할 경우 다시금 성능의 차이가 발생할 수 있지만, 최근에는 실제 서비스의 활용과 구현에 대한 관심이 높아지고 있어 집단 지성의 오픈소스 진영이 더 큰 영향력을 발휘할 수 있을 것으로 기대합니다.
앞으로 메타 외에도 오픈소스 진영에 더욱 강력한 지원군들이 등장하여 폐쇄 진영과의 건강한 경쟁 체제가 잘 유지되길 바래봅니다.
댓글남기기