실행하는 AI 앞에서 인간과 기업은 무엇에 집중해야 할까?

오간 이야기

데이터베이스를 파는 오라클이 키노트 주제로 AI 에이전트 메모리를 잡은 데는 이유가 있었습니다. Claude Code를 쓰거나 멀티 에이전트를 돌리면, 작업 맥락을 유지하기 위한 메모리 파일들이 로컬에 쌓입니다. 그 안에 든 게 생각보다 많습니다. API 키와 패스워드, Gmail이나 회사 시스템을 연동했다면 내부 정보까지. 관리되지 않은 채 외부에 노출될 수 있는 이 데이터를 Shadow Data라고 합니다.

개인이 쓸 때는 상관없지만 회사 업무에 AI를 쓰는 순간부터 이야기가 달라집니다. 회사의 중요 자산이 누군가의 PC 로컬 파일에 흩어져 있는 셈이기 때문입니다. 오라클이 내놓은 답은 단순했습니다. 에이전트가 쓰는 메모리를 Oracle DB에서 관리하자는 것으로, 패키지 하나를 설치하면 기존 OpenAI나 LangChain 프레임워크에 그대로 붙습니다. 로컬 파일 대신 DB에 저장되니 보안이 강화되고 요약과 임베딩 처리로 토큰도 절약되며 멀티 에이전트가 동시에 기록을 남겨도 트랜잭션으로 순서를 잡아줍니다.

거버넌스 이야기도 인상적이었습니다. AI를 도입한 기업들이 요즘 담당 엔지니어를 월 1회 파견해 지난 한 달의 프롬프트 사용 현황을 검토하고 필요한 스킬을 만들어준다고 합니다. 그 모든 기록이 DB에 남아 있기 때문에 가능한 방식입니다. AI가 고도화될수록 어디에 무슨 정보가 남는지 모르는 사람이 많아지고 그 간극이 곧 위험이 됩니다.

채널톡 이경훈 CAIO님은 7년에서 8년을 VC로 일하다 올해 초 채널톡에 합류했습니다. 자신이 투자한 회사에 직접 들어간 것입니다. VC로 일하는 동안 트렌드는 계속 바뀌었습니다. 블록체인이 뜨자 다들 블록체인에만 투자했고 그다음엔 메타버스였기에, AI가 나왔을 때도 처음엔 이것도 2년에서 3년 지나면 꺼지겠지 하고 같은 식으로 봤다고 합니다. 그 생각이 꺾인 건 한 투자처 대표님의 말 때문이었습니다. AI가 사람을 대체하는 게 아니라 AI를 잘 쓰는 사람이 못 쓰는 사람을 대체할 것 같다는 말이었고 그날부터 밤새 바이브 코딩을 했습니다.

상담 시장을 택한 건 투자자의 시선으로 분석한 결과였습니다. LLM이 가장 잘하는 건 답이 있는 문제와 언어 기반의 일입니다. 코딩 다음으로 이 조건을 충족하는 게 상담이었습니다. 라이선스 없이 누구나 할 수 있고 매뉴얼이 있고 대화로 이루어집니다. 한국 SaaS 시장은 최대 2조 원. 콜센터 시장은 10조 원입니다.

채널톡에서 처음 한 일은 세일즈팀 미팅 기록 자동화였습니다. 하루 네 개의 미팅에 하나당 회의록 작성부터 세일즈포스 입력까지 40분이 걸리던 과정을, 녹취 도구와 자동화 워크플로우로 세일즈포스에 자동 입력되게 만들었습니다. 토큰 무제한까지는 단계가 있었습니다. AX 전담팀을 만드는 건 일이 몰리고 현업을 모른다는 이유로 실패했고 다음으로 각 팀에 AI를 잘 쓰는 사람 한 명씩을 두자 조직 분위기가 서서히 바뀌기 시작했습니다.

진짜 터닝포인트는 인사 평가였습니다. 지난 분기 AI로 낸 임팩트가 무엇인지를 평가 항목에 넣고 전사에 클로드 코드 개인 계정을 지급했더니, 다음 날부터 팀챗에 나 이거 만들었어가 폭발했습니다. 그렇게 쌓인 요청이 토큰 무제한으로 이어졌습니다. AI를 잘 쓰는 사람의 한 시간이 더 아까우니, 토큰이 부족해 기다리게 하는 것보다 더 쓰게 해주는 게 맞다는 단순한 판단이었습니다. 막상 열고 보니 비개발자는 월 100만 원, 어떤 개발자는 월 5,000만 원이 나왔습니다. 사내 카페의 바리스타가 클로드 코드로 태블릿 주문 시스템을 혼자 만든 사례도 나왔습니다.

그의 루틴은 하루 링크드인 글 한 편입니다. 리서치부터 정리까지 한두 시간이 걸립니다. 스타트업에 와서 3주간 글을 못 썼더니 멍청해지는 느낌이 들었다고 했습니다. 눈앞의 일만 처리하다 보니 더 넓게 생각하는 시간이 사라진 것입니다. 생각을 안 하면 생각하는 능력이 줄어듭니다. AI가 쓴 티가 나는 결과물을 그대로 내면 오히려 평가가 나빠진다고도 했습니다. AI 시대일수록 핵심만 요약하는 능력이 중요해져서, 길고 AI 냄새 나는 문서보다 짧고 본질만 남긴 결과물이 더 가치 있다는 것입니다.

AI 시대에 인간은 뭐에 집중해야 하냐는 질문에는 짧은 답이 돌아왔습니다. 호모 사피엔스니까 생각하는 데 집중해야 한다는 것이었습니다. LLM이 만능처럼 보이지만 에이전트를 직접 만들다 보면 환상이 금방 깨집니다. 컨텍스트 엔지니어링, 프롬프트 엔지니어링이라는 말이 등장한 것 자체가 LLM이 알아서 해주지 않는다는 증거이고 가드레일을 치고 맥락을 넣고 방향을 잡는 건 여전히 사람의 몫입니다. 결론은 AI를 잘 쓰는 사람은 결국 일을 잘하는 사람, 그러니까 명확하게 지시하고 나온 결과를 명확하게 리뷰할 수 있는 사람이라는 것이었습니다.

사무직 종말론에는 반대했습니다. AI가 나오고 오히려 할 수 있는 일이 더 많아졌다는 것입니다. 대기업은 AI로 효율화를 택할 수 있지만 채널톡은 더 성장하는 쪽을 골랐습니다. 지금 채용을 늘리고 지하철 광고를 냈고 연봉 인상을 내걸었습니다. AI를 잘 쓰는 사람 한 명이 오면 일이 줄어드는 게 아니라 낼 수 있는 일이 늘어난다는 논리입니다. 채널톡이 그리는 미래는 툴을 파는 게 아니라 사람의 일을 대체하는 것이라, 이미 상담의 80퍼센트를 AI가 처리하는 고객사가 나오고 있습니다. 콜센터 10조 시장의 10퍼센트만 대체해도 1조입니다.

조별 토론의 첫 질문은 AI 에이전트의 결과물을 어디까지 신뢰할 수 있는가였습니다. 산업도 경력도 다른 아홉 개 조가 내린 결론은 놀랍도록 하나였습니다. 실행은 AI가, 최종 결정은 인간이. 개입의 정도만 달랐습니다. 금융권에서는 오류 하나의 데미지가 커 개입 수준이 높고 코딩 단계는 거의 100퍼센트 AI에 맡긴다는 곳도 있었습니다. 기준은 하나였습니다. 그 결정이 얼마만큼의 책임을 지는가. 책임의 무게가 없는 단계는 AI에게 넘겨도 되고 무거운 결정은 사람이 직접 내려야 합니다.

지금 실제로 어떻게 쓰고 있는지도 나눴습니다. 상품권 배송 자동화, 고객 대화 녹취 후 니즈 블루프린트 자동 생성, 비정형 제조 데이터의 템플릿화까지 각자의 현장에서 이미 무언가를 만들고 있었습니다. 개발자가 아닌 사람이 사진으로 3D 모델링 앱을 만들어 발주처에 시연한 사례도 있었습니다.

마지막 질문은 다음 세대 교육이었는데, 데이터 사이언스를 전공하는 한 신입생의 발표에 박수가 터졌습니다. 지금 교육은 정해진 답을 찾는 교육인데 그건 AI가 더 잘하고 AI는 계산기나 GPS와 달리 사고 자체를 위임하게 만드니 다음 세대는 오히려 AI를 일부러 멀리하며 생각하는 능력을 키워야 한다는 것이었습니다. 다른 조는 다른 언어로 같은 말을 했습니다. 특정 언어를 잘 쓰는 법보다 말하고 지시하고 위임하는 법이 핵심이 됐으니, 자연어 교육이 코딩 교육보다 먼저라는 것이었습니다.