피지컬 AI는 올해 크리스마스 선물이 될 겁니다

오간 이야기

합정에 있는 복합문화공간 우물을 통째로 빌렸습니다. 야외 마당과 실내 두 층, 옥상까지 있는 200평짜리 공간입니다. 평소에는 강의실 같은 데서 모이는데 해커톤의 출발을 알리는 자리라 다른 곳을 골랐습니다. 금요일 저녁인데도 5시 체크인부터 사람들이 일찍 왔고 저녁을 먹으며 인사를 나누다 5시 반에 시작했습니다. 처음 오신 분이 4분의 1쯤 됐습니다.

이번 해커톤은 Nebius가 NVIDIA와 함께 20개 도시를 도는 행사입니다. 이틀 전 도쿄에서 시작해 다낭과 서울을 거쳐 런던, 뉴욕, 샌프란시스코까지 갑니다. 진행은 온라인이고 마감은 한국 시간으로 10월 31일 새벽 2시라, 이날은 결과물을 내는 날이 아니라 팀을 꾸리고 도구를 익히는 출발선이었습니다. 안내에도 데모와 피칭이 없다고 적었습니다.

참가 조건은 두 가지입니다. 결과물이 Nebius 클라우드 위에서 돌아가야 하고 NVIDIA 오픈소스 모델을 하나 이상 써야 합니다. 트랙은 코딩과 에이전틱 엔지니어링, 앱과 에이전트, 개인용 AI, 피지컬 AI 네 개이고 상금은 모두 5만 달러가 넘습니다. 피지컬 AI 트랙에는 조건이 하나 더 붙습니다. 제출 영상에 실제 로봇이 움직이는 장면을 1분 이상 넣어야 하고 시뮬레이션 화면만으로는 안 됩니다. 이날 무대에서 나온 이야기가 대부분 이 조건과 맞닿아 있었습니다.

첫 세션은 Nebius의 클라우드 솔루션 아키텍트 Guan-ru Huang 님이었습니다. Nebius를 들어본 적 있느냐고 물었더니 손이 하나도 올라오지 않았는데, 오히려 좋다며 웃었습니다. 강조한 건 주가가 아니라 구조였습니다. 하이퍼스케일러는 데이터센터를 지을 때 AI가 아니라 범용 워크로드를 염두에 뒀고 반대편의 GPU 임대 업체는 소프트웨어 스택 없이 GPU만 빌려줍니다. Nebius는 처음부터 AI용으로 데이터센터를 짓고 그 위에 클라우드 소프트웨어까지 얹었다고 했습니다.

고객이 GPU를 구할 때 가장 먼저 보는 건 확보 속도입니다. 채용은 됐는데 학습시킬 GPU가 없으면 ML 과학자들이 패닉에 빠진다고 했습니다. 그다음이 안정성입니다. 요즘 모델은 주 단위와 월 단위로 학습을 돌려서, 중간에 클러스터가 끊기면 처음부터 다시 해야 합니다. GPU 열 개로 시작해도 사업이 크면 수천 개가 필요해지니, 같은 클러스터 안에서 함께 커질 수 있는지도 봅니다.

추론 플랫폼 Token Factory 이야기가 이어졌습니다. 지금은 폐쇄형 API를 쓰거나 직접 호스팅하는데, 폐쇄형은 시작이 쉬운 대신 서비스가 커질수록 마진을 깎고 셀프호스팅은 전담 팀이 필요합니다. 공통된 한계로 짚은 건 따로 있었습니다. 내 서비스의 트래픽으로 모델을 계속 고칠 기회를 주지 않는다는 점입니다. Token Factory는 오픈소스 모델로 추론을 시작해 고객이 무엇을 묻는지 본 다음 다시 학습시켜 원하는 GPU와 리전에 올리는 흐름을 제품에 넣었습니다.

마지막은 Nebius가 인수한 Tavily였습니다. 지금 몇 점이냐고 물으면 모델은 웹에서 답을 가져와야 하는데, 2초 전에 일어난 일을 학습한 모델은 어디에도 없습니다. 그런데 검색 결과는 에이전트가 읽기 어려운 형태로 돌아옵니다. Tavily는 그 사이에 끼는 계층입니다. 관련 URL을 주고 안의 내용을 뽑고 URL 사이의 관계를 따라갑니다. 정확도와 관련성과 속도를 관통하는 건 최신성이라고 했습니다. 최신 업그레이드를 물었는데 2~3년 전 문서가 나오면 쓸모가 없으니까요.

두 번째 세션은 피지컬 AI 생태계를 맡은 Dhruv Diddi 님이었습니다. 디지털 AI와 피지컬 AI를 나란히 놓은 슬라이드가 분명했습니다. 디지털 AI의 출력은 화면 속 토큰입니다. 환각은 그냥 틀린 텍스트이고 오류 비용은 0입니다. 피지컬 AI의 출력은 모터 토크입니다. 환각이 물리적 충돌이 되고 오류 비용은 치명적입니다. 유리잔을 떨어뜨리지 말라는 말 한마디가 관절 각도와 토크로 바뀌어야 한다는 뜻입니다.

로봇이 아직 어디에나 있지 못한 이유로는 삼체 문제를 들었습니다. 데이터를 모으고 학습하는 공장, 시뮬레이션을 돌리는 매트릭스, 모델이 실제로 올라가는 엣지가 전부 다른 컴퓨터입니다. 공장은 DGX급 클러스터, 매트릭스는 합성 데이터를 만드는 RTX급 서버, 엣지는 밀리초 단위로 반응해야 하는 온보드 컴퓨터죠. 데이터 수집이 시뮬레이션과 안 맞을 때가 있고 시뮬레이션이 배포와 안 맞을 때도 있는데, 온라인에서 보는 멋진 영상은 전부 잘 맞은 경우라고 했습니다.

학습 데이터는 세 군데서 옵니다. 영상은 확장성이 가장 좋지만 힘이나 관절 정보가 없고 시뮬레이션은 하룻밤에 수백만 에피소드를 만들어도 물리가 근사치이며 원격조작은 짝이 완벽한 대신 한 시간에 5개에서 50개밖에 못 모읍니다. 이 대목에서 오픈소스 로봇 팔을 꺼내 객석에 돌렸습니다. 200달러면 사고 3D 프린팅이라 직접 고칠 수 있습니다. 온라인에서 보는 춤추는 로봇은 물체를 다루지 않으니 전부 강화학습이고 물컵을 쥐게 하려면 모방학습을 씁니다.

패널에는 NVIDIA의 Andy Lee 님과 디든로보틱스 CBO 박유빈 님이 함께했습니다. 디든로보틱스는 자석 발로 철제 구조물의 벽과 천장을 타고 다니며 용접하는 사족보행 로봇을 만듭니다. 시뮬레이션을 충분히 돌린 뒤 현실에 넣으면 무엇이 먼저 깨지느냐고 묻자, 답이 구체적이었습니다. 시뮬레이터는 평평한 바닥에 반듯한 각도로 만듭니다. 실제 조선소에서는 용접하면 바닥에 쇳조각이 흩어지고 로봇이 그걸 밟으면 미끄러집니다. 현실 없이는 어떤 해법도 만들 수 없다고 했습니다.

AI와 하드웨어 중 무엇이 더 어렵냐는 질문에 Andy Lee 님은 반반이라고 답했습니다. 모델은 빠르게 좋아지는데, 현실에 내놓는 순간 조명이 다르고 계산에 없던 변수가 쏟아집니다. 하드웨어가 AI를 따라가야 하는 단계라는 것입니다. 같은 이유로, 창업을 다시 한다면 무엇을 하겠느냐는 질문에 박유빈 님도 망설이지 않았습니다. 하드웨어를 하라고요. 소프트웨어만 최적화하면 고객이 그것만 빼고 다른 업체 것으로 바꾸기가 너무 쉽다는 이유였습니다.