직군/직무

법인

고용형태

경력

근무지

[NAVER Cloud] Multimodal LLM (경력)

모집 부서: NAVER Cloud
모집 분야: Tech
모집 분야: AI/ML
모집 경력: 경력
근로 조건: 정규
모집 기간: 2026.03.04 ~ 2026.03.18 (17:00)

입사지원은 PC를 이용해주세요.

부서소개

저희 부서는 HyperCLOVA X를 기반으로, 이미지와 비디오 등의 Multimodal 도메인으로의 기능 확장을 위한 아키텍처 설계 및 모델 생산을 담당하고 있습니다. 최종적으로는 Native Multimodal 및 입출력 측면에서 Any-to-Any 까지의 확장을 목표로 하고 있습니다.

2024년 9월 한국 최초로 Vision LLM 기능을 HyperCLOVA X 에 적용해 서비스를 시작하였고, 특히 2025년 4월에도 역시 대한민국 AI 생태계를 위하여 국내 최초로 상업용 오픈소스 AI 모델을 공개했습니다.(관련 링크 Click) 나아가 Global Frontier Big Tech 와 경쟁하기 위해 NAVER의 자산인 데이터와 기술 측면에서 오랫동안 축적된 경험과 우수한 인재를 바탕으로 다양한 프로젝트에 도전하고 있습니다.

대용량의 Computing과 양질의 데이터는 Machine Learning 에 있어 핵심입니다. Computing 자원은 생산을 반복할 때마다 비용에 산입이 되기에, 학습 효율성 및 성능 향상을 위해 데이터를 정교하게 Filtering 하고 Curation하는 것이 중요합니다. 이를 위해 해당 데이터들을 여러 방법론을 통하여 (Model Driven) 학습 공정을 단축하고 데이터와 모델의 상호작용을 탐구하며 SOTA 수준의 성능 개선을 목표로 합니다.

담당업무

Vision Language Model 개발: Multimodal 확장을 위한 효과적인 Architecture 완성 및 Benchmark 전반에 대한 동일 학습 수준 경쟁 모델 대비 우위 달성

• Real-time streaming/efficient Multimodal understanding를 위한 Multimodal (Vision) encoding 에 대한 실증적인 architecture design

• Distributed Training(FSDP, ZeRO), Sequence Packing, Sequence Parallel 등 VLM 학습 효율 개선을 위한 기술 stack 적용 및 개발

• 추가적인 Modality(Audio I/O, Image/Video) 확장을 위한 유관 부서와의 소통

• Hyperscale 규모의 GPU 자원 (InfiniBand 기반 GPU Cluster)에서의 VLM Ablation, 학습 및 생산

• Public Benchmark SOTA 달성을 위한 Small Scale Ablation 및 분석

Multimodal Pretraining: 경쟁사 수준의 학습량에 도달하는 Vision Backbone 확보 및 최종 성능 향상. Omni modality로의 확장

• Hyperscale 규모의 GPU 자원 (InfiniBand 기반 GPU Cluster)을 활용한 Multimodal Backbone에 Vision 능력 추가를 위한 모델 학습

• Hyperscale 규모의 GPU 자원을 활용한 Backbone 생산을 위한 Framework 도입과 관련된 Engineering

• 다양한 Multimodal Backbone 이 최종 모델의 성능에 미치는 영향 탐색

• 효과적인 Pretraining Recipe 탐색과 Pretraining Data 에 대한 Curation 및 Filtering 작업

• Distributed Training(FSDP, ZeRO, Megatron), Sequence Packing, Sequence Parallel 등 VLM 학습 효율 개선을 위한 적용 및 개발

자격요건

• 석사 학위 보유자 혹은 2년 이상의 유관 업무 경력을 보유하신 분

• VLM (LLaVA, Qwen VL, DeepSeek VL 등)의 구조 및 학습 과정에 대한 상세한 이해와 학습 경험 및 Code Level 경험을 보유하신 분

• Distributed Training 및 모델 가속에 대한 이해 또는 경험 (DeepSpeed ZeRO, Megatron, NeMo, vLLM, sglang 등)을 보유하신 분

• 각 학습 단계 별 VLM 데이터의 특성, 종류에 대한 이해가 있으신 분

• Python 및 LLM 개발 관련 Library, Framework, Platform(PyTorch, Hugging Face) 활용 능력을 보유하신 분

우대사항

• 상용 수준의 VLM 개발 경험을 보유하신 분

• 대규모 GPU Infra 운용 경험 (Multinode, Slurm, K8S)을 보유하신 분

• Top-tier 논문 1저자 이력이 있으신 분

• LLM, VLM 관련 학위를 보유하신 분

• LLM, VLM 관련 Challenge 참가 경험 또는 상위 입상 경험을 보유하신 분

• 최소 3개월 이상 소요된 팀 프로젝트를 성공적으로 완료한 경험과 해당 프로젝트를 성공으로 이끈 데에 기여도가 높으신 분

• 상기 담당업무 중 하나를 진행함에 있어 최고 수준의 역량을 보유하신 분

전형절차 및 기타사항

[전형절차]

서류 전형(기업문화적합도 검사 및 직무 테스트 포함) ▶ 1차 인터뷰 ▶ 레퍼런스체크 및 2차 인터뷰 ▶ 처우협의 ▶ 최종합격

※ 1차 인터뷰 전형에 Job Talk 및 논문 세미나가 포함될 수 있습니다.

※ 전형 절차는 일정 및 상황에 따라 변동 될 수 있으며, 전형 별 결과에 따라 절차(추가 인터뷰 등)가 추가될 수 있습니다.

※ 정해진 결과 발표 일정은 없으며, 지원서 검토 후 면접 일정은 대상자에게 개별로 안내 드릴 예정입니다.

[근무지]

경기 성남시 분당구 불정로 6 (그린팩토리)

※ 근무지는 회사 내부 사정에 따라 변동될 수 있습니다.

[기타사항]

• 본 공고는 타 공고와 중복지원이 불가능하며, 기진행한 포지션에 대한 전형이 모두 마무리 되면 다른 포지션으로 지원이 가능합니다.

• 해외 출장에 결격 사유가 없는 분만 지원 가능합니다.

• 병역 의무를 필한 자 혹은 면제된 자에 한 해 입사지원이 가능합니다.

• 지원서 상 허위 기재가 있거나 제출 서류가 허위인 경우 합격이 취소될 수 있습니다.

• 제출된 지원서는 [My page- 지원현황]에서 확인 가능하며, 공고 마감 전까지 홈페이지에서 수정 및 지원 철회가 가능합니다.

• 본 공고는 인재 선발 완료 시 조기 마감될 수 있으며, 필요 시 모집 기간이 연장 될 수 있습니다.

• 국가유공자 및 장애인 등 취업보호 대상자는 관계법령에 따라 우대합니다.

• 국가유공자의 가산점 부여를 받기 위해서는 본인이 '취업지원 대상자 증명서'를 회사에 제출해야 합니다.

• 제출해 주신 지원서의 검토 결과 발표는 지원서에 등록하신 이메일로 개별 안내 드립니다.

• 입사 후 3개월의 수습 기간을 적용하며 평가에 따라 수습 기간이 연장되거나 채용이 취소될 수 있습니다.

• 문의사항은 NAVER Cloud 채용 홈페이지 1:1 문의로 접수해주시기 바랍니다.