"완전히 새로운 세상이 시작되었다는 강한 직감이 들었어요." 2023년은 생성형 인공지능 시대의 서막이 본격적으로 열린 한 해로 기억될 것이다. 그리고 네이버 역시 초대규모 AI 하이퍼클로바X를 선보이며 시대의 흐름을 함께 만들어 가고 있다. 데이터 증강 기술로 박사 졸업 후 네이버에 스카우트된 5년 차 연구개발자 유강민은 새로운 LLM(Large Language Model) 기술을 연구하며 네이버의 인공지능 모델을 더욱 지능적으로 고도화하는 역할을 맡고 있다. 세계적인 학회에서도 경쟁력을 입증하며 하이퍼클로바X의 성장을 견인하고 있는 그는 이 기술이 사람들의 일상을 완전히 바꿔 놓을 것이라는 믿음, 그리고 네이버가 곧 한국의 AI 경쟁력이라는 사명감을 가지고 있다. 단지 기술 경쟁에서 이기길 바라는 욕심이 아니라, 그의 연구가 우리의 일상에 유의미한 변화를 가져오길 바라는 묵직한 신념. 그가 일하는 이유이자 목표다.
저는 컴퓨터공학 박사 졸업 후 2020년 7월부터 네이버 AI 조직으로 합류하게 되었습니다.
세부 전공은 머신러닝과 자연어 처리이고요. 제 박사 졸업 논문 주제가 데이터 증강 쪽이었는데, AI 모델들을 이용해서 데이터를 어떻게 잘 만들고 그게 AI 모델의 자가 발전에 어떻게 더 도움이 되는가 하는 것들을 연구했습니다.
그때 네이버에서 필요했던 데이터 증강 기술들이 있었는데, 제 연구 주제가 거기에 딱 잘 맞아 스카우트를 받고 AI Lab으로 합류하게 되었습니다.
연구를 서비스에 보다 밀접하게 적용하기 위해, 그 당시 챗봇 서비스에 필요한 머신러닝 기술을 다루던 Conversation 팀에도 겸직을 맡았었고요.
2020년 하반기쯤 저희 팀에 네이버의 초대규모 AI 모델인 하이퍼클로바라는 프로젝트가 띄워집니다.
당시는 랭귀지 모델이라고 하는 그런 기술들이 이제 막 나오던 시점이었어요. 그 흐름을 보고는 우리 네이버도 이걸 미리 준비를 해야지만 향후에 미래 대응이 될 것 같다는 판단이 있어 시작되었습니다.
랭귀지 모델의 흐름이 이제는 LLM(Large Language Model)이라고 하는 대형 언어 모델로 넘어가고 있어요. 언어 모델은 이제는 크기를 키우지 않으면 실제로 아예 논외가 돼 버린 세상이 되었는데요.
그러면서 끊임없이 업계에서 새로운 LLM 기술을 내놓거나 발견하고 있고, 또 학계에서도 상당히 많은 연구가 진행되고 있습니다.
저희 팀에서는 그런 기술들을 선행적으로 연구하고 가능성을 확인해서 하이퍼클로바X의 능력을 더욱더 지능적으로 발전시키는 역할을 하고 있습니다.
하이퍼클로바X가 지금은 언어만 다루고 있지만, 이미지나 음성, 영상과 같이 다양한, 멀티 모달리티(modality)를 지원할 수 있는 LLM으로 발전시킬 수 있는 방법들을 연구하고 있고요.
또 저희가 중점적으로 보고 있는 기술 중 하나가 RFT(Rejection-Sampling Fine-Tuning) 및 Super-Distillation이라고 해서, 모델이 스스로 잉여 인퍼런스 자원을 이용해서 모델의 성능을 지속적으로 자가 발전하는 기법인데요.
아주 좋은 가능성을 확인해서 안정적으로 활용할 수 있도록 기술을 다지고 있습니다.
그리고 가장 최근에는 Bloom's Taxonomy라는 인간의 지식 습득 방식에 착안한 지식 전이 기법을 새롭게 탐구해서, 저희 모델을 더 작은 모델로 효율화하거나 혹은 저희 모델보다 더 큰 모델로부터 효과적으로 전이 받는 방법을 적용하고 있습니다.
“이제는 모두가 AI를 손쉽게 사용할 수 있는, 새로운 세계가 시작됐다는 강한 직감이 들었어요.
우리도 무조건 해내야 한다고 생각했습니다.”
하이퍼클로바 모델은 이미 작년(2022년) 말쯤에 기본적인 틀은 많이 완성되어 있는 상태였어요. 그런데 그 당시에는 LLM이 어떻게 사용자 사람들한테 실제로 도움이 될지에 대한 감이 전혀 없었거든요.
그런 얘기들이 학계에서는 조금씩 나오고 있었는데 저희가 조금은 간과를 하고 있었어요. 그게 그렇게 중요하게 될 줄은 몰랐던 거죠.
그런데 ChatGPT의 등장으로 인스트럭션 팔로잉(Instruction-Following)이라고 하는, 사용자의 지시를 자연어 형태로 쉽게 따라갈 수 있는 그 능력이 굉장히 잘 된다는 게 보인 겁니다. 그때 발등에 불이 떨어지기 시작했던 거죠.
저는 그래서 올해(2023년) 초 1월에 ‘무조건 이 인스트럭션 팔로잉 기능을 갖춘 LLM 모델을 준비해야 된다’라고 강하게 주장을 했습니다. ChatGPT는 이미 출시를 해서 사용자들, 특히 우리나라 한국어 사용자들이 12월, 1월달에 많이 늘어난 상황이었고요.
그래서 저희가 발 빠르게 이동하지 않으면 해외의 이런 흐름이 강세가 될 것 같았고, 특히 가장 무서웠던 건 만약에 한국어를 저희 하이퍼클로바 이상급으로 해내면 어떡하나 하는 두려움이 컸어요.
그래서 ‘이건 무조건 해야 된다’라는 판단이 들어서 조직을 설득한 끝에, 2023년 1월에 TF가 꾸려지게 됐었습니다.
그때 당시의 미션은 저희 조직에서 이미 확보한 대규모 한국어 모델인 하이퍼클로바X를 ChatGPT와 같은 대화지시형 LLM으로 확장하고, 사업 기로를 개척하는 것이었어요.
저는 데이터 쪽 실무 리딩을 담당했었고요. 팀원들과 머리를 맞대며 밤낮없이 아이디어 회의를 하고 다양한 시행착오 끝에 저희 만의 독창적인 대화지시형 데이터 수집 방법론을 고안하게 되었고, 이를 바탕으로 3월 말 첫 프로토타입을 선보일 수 있었습니다.
저희도 만들 수 있다는 실질적인 증거가 생겼을 때 저희 모두 얼마나 흥분했었는지, 지금도 기억이 생생하네요.
또, 거기서 커뮤니케이션을 정말 많이 했던 것도 개인적으로 큰 성장의 계기가 됐어요. 원래 저의 역할은 주로 연구자였고 논문만 쓰는 사람이었는데, 정말 많은 사람들과 이렇게까지 실무적으로 긴밀하게 일을 했던 건 이번 TF가 처음이었거든요.
비록 저한테는 생소한 환경이라 걱정도 됐지만, 꼭 필요한 일, 해야 하는 일이라고 생각을 해서 새로운 역할에 도전하게 됐습니다.
덕분에 굉장히 많은 것들을 배우고 저도 많이 성장을 한 것 같고요. 또 그러면서 많은 팀원들과도 서로 깊이 알아 가고, 동료애도 많이 느낄 수 있었던 시간이었던 것 같습니다.
AI의 가능성을 이끌어 내기 위해서 그동안은 너무 머신러닝적인 딱딱한 방식으로만 고민을 해 왔었다고 하면, 이젠 일반인들도 모두가 손쉽게 AI를 사용할 수 있는, 그런 형식으로 넘어오고 있어요.
새로운 세계가 시작됐다는 강한 직감이 들었습니다.
마치 모두가 핸드폰을 쓰고 있는 것처럼, 평상시에도 이 기술이 없으면 안 될 정도로 중요하다라고 느낄 때가 이 기술이 정말 인류를 바꿀 수 있을 만큼 중요한 변환점이 되는 거잖아요.
저희 하이퍼클로바X나 ChatGPT 같은 LLM, 인스트럭션 팔로잉이 가능한 형태의 모델은 또 한 번 그런 변환점이 되어 줄 수 있다고 생각합니다.
저는 이 모델이 인류의 생산성에 단 1%라도 도움을 줄 수 있다면, 우리나라 전체 경제 규모에 1%라도 도움이 된다고 하면 상당히 큰 가치가 있는 것이라고 생각하는데요.
지금 저희가 가고 있는 이 방향이 그렇게 약간이라도 좀 더 도움이 될 수 있는 형태로 나아가고 있다고 확신이 들어요.
당시에 제가 뭔가 굉장히 열정적으로 그런 얘기들을 많이 했었나 봐요. 그 정도로 스스로가 거기에 많이 심취하고 몰입했었던 것 같아요.
그만큼 확고한 신념이 있었고, 지금 LLM의 기술 방향성들을 봤을 때 저희가 정말 잘 가고 있다고 생각을 하고 있고요. 저희가 생각했던 흐름대로 가고 있어서 굉장히 행운이라고도 생각합니다.
그리고 무엇보다 같이 이 방향성을 알아봐 준 동료들, 저희가 정말 제한된 리소스로 달리고 있는데 그런 제약을 뛰어넘을 수 있을 정도로 목표를 위해 최선을 다해 주시는 동료 분들이 많으셨기 때문에 가능했던 일이라고 생각합니다.
“최고의 동료들과 함께 한국의 AI 기술 경쟁력을 만들어 가고 있습니다.”
개인적인 의견을 드리자면 네이버는 AI 분야에서 전 세계에 몇 안되는 기업 중 하나라고 생각을 합니다. 현재 저희는 탑5 정도의 기술 수준을 보여주고 있다고 감히 말씀드리고 싶습니다.
왜냐하면 LLM을 원천으로 구축하고 인스턴트 모델 형태, 즉 저희 하이퍼클로바X라는 모델 형태로 개발해서 데이터를 설계하고, 이 모델을 활용한 제품과 서비스까지 나가고 있는, 그런 풀 패키지인 기업이라는 점에서 탑 수준이라고 얘기할 수 있을 것 같아요.
해외 경쟁사에서는 모델을 만드는 데 실제 기술 개발에도 수천 명의 개발자가 투입이 되고, 테스트에만 만 명 가까이 되는 사람들이 참여를 합니다. 그런 엄청난 규모에 비해서 현실적으로 네이버에서는 훨씬 적은 인력으로 이끌어 가고 있는 상황인데요.
모두가 진짜 엄청난 역량을 보여주면서 만들어 가고 있습니다. 그런데 신기하게도 저희는 그걸 해내고 있고요. 믿기지가 않죠.
결국에는 모델 성능이 중요하잖아요. 모델이 얼만큼 사용자한테 도움이 되는지 성능을 평가하는 기준들이 있는데, 수치상으로 봤을 때 저희 모델이 지금 외부에 공개되어 있는, 훨씬 인지도가 있는 그런 해외 기업들의 LLM에 비해서 저희 모델이 특별히 뒤처지거나 혹은 성능이 부족하거나 하는 부분은 거의 없는 상황입니다.
그런 정량적인 지표들이 증명해 주고 있기 때문에, 더욱더 자신 있게 말씀드릴 수 있는 상황인 것 같습니다. 그리고 조만간 이런 뛰어난 성능들의 모델들이 CLOVA X를 포함해서 여러 네이버 서비스로 나가서 사용자들에게 입증이 될 수 있기를, 정말 기다리고 있습니다.
보통 일을 하다 보면 나만의 업무 루틴이나 습관이 생기기도 하지요. 그런 것들이 쌓여서 나만의 노하우, 경쟁력이 되기도 하고요. 하지만 제가 있는 이 분야, 이렇게 시시각각 변하고 있는 이 분야에서는 오히려 루틴이나 습관 같은 것이 생기면 안 되는 것 같아요. 정말 끊임없이 기술이 바뀌고 있거든요. 항상 유연하고 기민하게 반응해야만 합니다. 그래서 언제든지 지금 하고 있는 게 업데이트가 필요하다라고 생각을 되뇌는 것, 오히려 이렇게 스스로 계속 생각하는 것이 습관이라고 할 수도 있을 것 같아요.
우리의 목표 지점을 잘 아는 것. 이 조직이 장기적으로 나아가야 할 방향에 잘 얼라인 되어서, 내가 하고 있는 일이 그 방향에 어떻게 도움이 될 수 있는지를 고민하면서 일하는 것이 아주 중요하다고 생각합니다. 일을 잘한다는 건 그런 것 같아요. 아무리 정리를 잘하고 코드를 잘 짠다고 하더라도, 그것이 그 조직 관점에서 어떻게 도움이 되는지를 잘 인지하지 못하는 상황에서 업무를 한다면, 성공적인 결과로 이어지기 힘들다고 생각해요. 이곳은 혼자가 아닌, 함께 만들어 가는 곳이니까요. 그리고 그렇게 같이 힘을 모았을 때 더 큰 경쟁력을 가질 수 있는 거니까요. 결국 ‘우리’가 어디를 향해 가야 하는가에 대해서 잘 이해하고, 거기서 내가 어떤 몫을 해낼 것인가를 잘 읽어낼 수 있을 때, 그것이 나의 성공으로 이어지고, 조직의 성공으로 이어지는 것이라 생각합니다.
저는 네이버가 곧 한국의 AI 경쟁력이라고 생각을 합니다. 저의 사명감 같은 것, 대의적인 모티베이션도 바로 그 지점에 있고요. 정말 이 분야에서 가장 뛰어나신 리더들이 이곳에 계시고, 또 거기에 가장 뛰어난 동료들이 함께하고 있고, 이 모두가 모여 만들고 있는 것이 바로 네이버라는 브랜드잖아요. 그런 차원에서 네이버에 있다고 하는 건 결국 저에게는 우리 사회에도 어떤 큰 기여를 할 수 있는 기회가 되는 것이라고 생각합니다. 최고의 동료들과 이런 성공 경험을 만들어 가는 일, 네이버이기에 가능한 귀중한 경험이지 않을까요.
Published Feb. 2024