토큰당 가격은 이제 낡은 단위입니다

오간 이야기

271분이 신청했고 디캠프 마포 5층이 꽉 찼습니다. 신청서에서 뽑은 데모그래픽이 주제를 그대로 설명해줬습니다. 모델을 고를 때 벤치마크를 이미 본다고 답한 분이 88퍼센트, 직접 모델을 학습시키거나 제품에 붙이는 분이 36퍼센트였습니다. 질문도 227분이 적어주셨고, 점수가 어떻게 만들어지는가가 55개로 가장 많았습니다.

Artificial Analysis는 모델에서 추론, 하드웨어까지 스택 전체를 평가합니다. George 님이 특히 자랑스럽다고 한 건, 기업들이 지능 지수 막대그래프 하나만 인용하는 게 아니라 개발자가 감수해야 하는 트레이드오프를 보여주려고 인용한다는 점이었습니다. 그래서 차트가 전부 2x2입니다. OpenAI는 지능과 비용을, 젠슨 황은 지능과 속도를 가져다 썼습니다.

첫 관점이 인상적이었습니다. 요즘 모델을 대개 에이전트로 쓰지만, 그 마법이 어디서 나오는지는 짚고 갈 필요가 있다는 것이었습니다. 하네스는 코드 실행이나 웹 검색 같은 도구를 제공합니다. 무엇이 가능한지를 끌고 가는 건 여전히 모델입니다. 근거로 코딩 에이전트 인덱스를 보여줬습니다. 약한 모델에 좋은 하네스를 붙여도, 좋은 모델에 평범한 하네스를 붙인 것보다 낫지 않았습니다.

지능 지수 선두는 앤트로픽과 OpenAI의 최신 모델입니다. 그래도 다른 모델을 쓸 이유가 남아 있다는 게 오늘 하고 싶은 이야기라고 했습니다. 기업 입장에서 모든 태스크에 최상위 모델을 쓰면 회사가 파산할 수도 있습니다. 한국 이야기에서는 고개가 가장 많이 끄덕여졌습니다. 지난 1년 사이에 한국이 미국과 중국 다음가는 상위 3개국으로 올라왔습니다. 캐나다나 스페인처럼 개별 모델이 하나둘 있는 나라는 있지만, 한국은 모델을 가진 AI 기업이 여러 곳입니다.

비용이 지금 중요해진 이유는 선두 모델과 저렴한 모델 사이에 100배 차이가 나기 때문입니다. 오프닝에서 띄운 9월 14일자 화면에서도 같은 과제 하나를 푸는 비용이 0.06달러에서 8.75달러까지 벌어져 있었습니다. 이 비용을 만드는 건 태스크 하나를 끝내는 데 쓰는 출력 토큰의 수입니다. 어떤 모델은 한 태스크에 20단계를 쓰고 어떤 모델은 100단계를 씁니다. AI 랩들이 여러분을 굳이 이렇게 생각하게 만들고 싶어 하지 않을 수도 있다고 덧붙였습니다. 토큰 단위로 돈을 받으니까요.

이제 토큰당 가격만 쓸 수는 없고 그건 낡았다는 게 그의 표현이었습니다. 에이전트의 세계에서는 출력 토큰의 양과 태스크당 비용을 생각해야 합니다. 비용을 내리는 힘과 올리는 힘은 동시에 작동합니다. 내리는 쪽은 더 작은 모델과 희소성, 소프트웨어 효율이고, 올리는 쪽은 더 큰 모델과 늘어나는 추론 토큰입니다. 패턴 하나가 특히 실용적이었습니다. 어떤 지능 수준에 도달하고 나면 그 지능이 아주 빠르게 싸집니다. 지능 지수 10은 2024년 중후반에 도달했고 그 뒤 비용이 100배 넘게 떨어졌습니다. 지금 최상위 모델이 너무 비싸다면, 쓸 만해질 때까지 오래 기다리지 않아도 될 수 있습니다.

질의응답의 첫 질문이 가장 날카로웠습니다. 영어 말고도 아주 많은 언어가 있는데 이 언어들의 성능은 어떻게 평가하는지 물은 분이 있었습니다. 한국어로 표현을 시키면 영어 관용구와 영어 속담이 튀어나온다는 것이었습니다. George 님은 답을 두 겹으로 했습니다. 언어에 대한 기본 이해는 모델들이 아주 잘 추상화한다고 봤습니다. 잠재 공간에서 언어라는 개념 자체를 추상화하기 때문입니다. 다음 말이 솔직했습니다. 이 모델들이 소통하는 방식의 뉘앙스는 지금 나와 있는 벤치마크들이 제대로 잡아내지 못하고 있고, 자기들이 만든 것도 마찬가지라는 것이었습니다.

두 번째 세션은 SK텔레콤의 천성준 님이었습니다. 발표 제목의 방점은 Production-Ready에 찍혀 있었습니다. 이 자리가 처음은 아니었습니다. 4월에 같은 장소에서 그가 했던 말이, 1차수에는 쓸 만한 모델을 만드는 데 성공했고 2차수는 정말로 쓸 수 있는 모델을 만드는 것이라는 얘기였습니다. 오늘은 그 약속을 들고 다시 온 셈이었습니다.

A.X K2는 688B 파라미터에 활성 33B이고 Apache 2.0으로 공개됐습니다. 1차수 때 가장 많이 받은 피드백이 모델이 너무 커서 쓰기 어렵다는 것이었습니다. 그건 곧 비용 걱정입니다. 그런데 경쟁의 스케일은 계속 커집니다. 크기를 줄일 수 없으니 아키텍처에서 답을 찾아야 했고, 토큰을 덜 고르고 상태를 덜 저장하고 아웃라이어를 통제하는 세 갈래였습니다. 결과는 메모리에 그대로 나타납니다. 1차수 BF16이 1038GB였는데 FP8이 646GB, NVFP4는 370GB이고 B200 네 장으로 서빙됩니다.

사용성을 위해 특별히 신경 쓴 건 한 트레이닝 루프 안에서 개선을 최대한 거쳐보자는 것이었습니다. 컴퓨팅 자원이 넉넉하지 않아 여러 번 돌릴 수 없었습니다. 한 번에 성공해야 했습니다. 내부 테스트와 Arena에서 응답을 보고, 실패 분석으로 역량 격차를 정리하고, RLHF와 RLVR로 갱신한 뒤 다시 평가하는 루프였습니다. 관찰된 행동이 다음 학습의 명세가 됐습니다. AIME 2026에서 97.1점으로 공동 1위였고, 1차수에서 약했던 롱 컨텍스트는 40점이 올랐습니다.

마지막 세션은 Trillion Labs의 안홍준 님이었습니다. 이렇게 큰 커뮤니티에서 토크를 하는 게 처음이라며 인사를 열었습니다. 지금 만드는 건 AI 팩토리를 겨냥한 Gravity 시리즈이고, 그리는 미래는 복잡한 물리 인프라에서 진짜로 셀프 드라이빙 하는 AI 에이전트입니다. 실제로 1.2기가와트 화력발전소에 배포하고 있다고 했습니다. 문제를 정의하려고 PowerBench라는 내부 벤치마크를 만들었습니다. P&ID는 그 플랜트의 그라운드 트루스이고, 현장의 질문은 도면 위에서 풀립니다. 매뉴얼에는 답이 없습니다. 도면을 읽을 수 없으면 플랜트에서 행동할 수 없습니다.

학습 파이프라인이 왜 그 순서여야 하는지가 가장 명쾌했습니다. 베이스 VLM은 P&ID 관습을 본 적이 없습니다. 강화학습은 정책이 샘플링할 수 있는 것을 다듬을 뿐이라, 도면을 못 읽는 정책의 롤아웃은 리워드에 닿지 못합니다. 그래서 프라이어를 먼저 올리고 그다음에 강화학습을 돌립니다. 하네스가 왜 필요한지도 실제 데이터를 보고 풀렸습니다. 도면이 거의 A0 사이즈에 16메가픽셀입니다. 한꺼번에 넣으면 프리필에만 한참 걸리고, 다운스케일하면 태그와 심볼이 사라집니다. 그래서 전체 조망은 남겨두고 필요할 때 줌하게 했습니다.

대규모 강화학습에서는 비동기 방식을 썼습니다. 에이전트 롤아웃은 롱테일이라 매 스텝이 가장 느린 하나를 기다립니다. 그래서 GPU가 30퍼센트 수준으로 돌았습니다. 비동기에서는 워커가 궤적을 쉬지 않고 흘려보내고 학습기가 기다리지 않습니다. 핵심 숫자는 학습기보다 몇 버전까지 뒤처진 궤적을 허용할 것인가였습니다. 보통 1이나 2를 둡니다. 8까지 늘려도 학습이 안정적인 레시피를 찾았고, 처리량이 6배 넘게 늘면서 GPU 사용률은 80퍼센트가 됐습니다.

마지막 질문이 발표의 가장 먼 지점을 건드렸습니다. Sound AI 스타트업에서 오신 분이, 대규모 발전 설비에서는 텔레메트리로 잡히기 전에 소리나 진동으로 징후가 먼저 나타난다며 그 구간을 어떻게 다룰 것인지 물었습니다. 정말 좋은 질문이라며 안홍준 님이 잠시 멈췄습니다. 그리고 지금 수준에서는 솔직히 모르겠다고 답했습니다. 이해하는 것까지는 할 수 있을 것 같지만, 더 선행하는 지표를 찾아 예측한 다음 행동한다는 건 굉장히 어려운 문제라는 것이었습니다.

소그룹 토론으로 마무리했습니다. 조장을 뽑는 기준에서 웃음이 제일 크게 터졌습니다. 내 돈으로 AI에 가장 많이 쓰는 분이 조장이고, 회사 카드는 빼기로 했습니다. 행사가 끝나고도 사람들이 남아 이야기를 이어갔습니다. 벤치마크를 만드는 팀과 그 표에 오르는 모델을 만드는 팀, 그 모델을 골라 쓰는 사람들이 한 방에 있었던 밤이었습니다.