메타, 최신 AI 모델 ‘라마4’ 공개

메타(Meta)는 최근 새로운 대규모 언어 모델 시리즈인 ’라마4(Llama 4)’를 공개했습니다. 이 시리즈는 ’라마4 스카우트(Llama 4 Scout)’와 ‘라마4 매버릭(Llama 4 Maverick)’ 두 가지 모델로 구성되어 있으며, 텍스트와 이미지를 동시에 처리할 수 있는 멀티모달 기능을 갖추고 있습니다.
​
라마4 스카우트(Llama 4 Scout):
• 구조: 총 1090억 개의 파라미터 중 활성 파라미터는 170억 개로 구성되어 있으며, 16개의 전문가 모듈로 이루어진 혼합 전문가(Mixture of Experts, MoE) 아키텍처를 채택하고 있습니다. 
• 특징:
• 업계 최고 수준인 1000만 토큰의 컨텍스트 윈도우를 지원하여, 장문의 문서 요약이나 복잡한 코드 분석에 적합합니다.
• 단일 NVIDIA H100 GPU에서도 구동이 가능하도록 설계되어, 효율적인 자원 활용이 가능합니다. 
• 구글의 Gemma 3, Gemini 2.0 Flash-Lite, 미스트랄(Mistral) 3.1 등 경쟁 모델을 여러 벤치마크에서 능가하는 성능을 보입니다. 
​
라마4 매버릭(Llama 4 Maverick):
• 구조: 총 4000억 개의 파라미터 중 활성 파라미터는 170억 개로 구성되어 있으며, 128개의 전문가 모듈로 이루어진 MoE아키텍처를 채택하고 있습니다.
• 특징:
• 다양한 언어와 이미지 이해 능력을 바탕으로, 다국어 지원이 필요한 복잡한 어시스턴트나 챗봇 애플리케이션에 적합합니다.
• 오픈AI의 GPT-4o 및 DeepSeek-V3와 비교하여 코딩 및 추론 작업에서 동등하거나 더 나은 성능을 보여줍니다. 
​
메타는 또한 ’라마4 비히모스(Llama 4 Behemoth)’라는 대규모 모델을 개발 중에 있으며, 이 모델은 총 2조 개의 파라미터 중 2880억 개의 활성 파라미터를 갖추고 있어, GPT-4.5 및 Claude Sonnet 3.7과 같은 최신 모델들을 STEM(과학, 기술, 공학, 수학) 벤치마크에서 능가하는 성능을 목표로 하고 있습니다. 
​
이러한 라마4 시리즈는 메타의 AI 어시스턴트에 통합되어 WhatsApp, Messenger, Instagram 등 다양한 플랫폼에서 활용될 예정입니다.

https://youtu.be/TIZmjmsBh20?si=YkHwJRtKRU3k6Jzn