서버의 희미한 웅웅거림은 실리콘밸리의 최신 골드러시의 새로운 사운드트랙이며, 이번에는 알고리즘을 실행하는 채굴자들이 유행이 지난 것처럼 처리 능력을 빨아들이고 있습니다.
수년간 AI 모델을 ‘더 똑똑하게’ 만드는 비결은 간단했습니다. 훈련 중에 더 많은 파라미터를 집어넣는 것이죠. 학생의 배낭에 교과서를 더 많이 쑤셔 넣는 것에 비유할 수 있습니다. 하지만 최신 플래그십 모델들 – 우리는 떠들썩한 GPT 5.5와 신비로운 o1 시리즈를 이야기하고 있습니다 – 은 판도를 뒤집었습니다. 단순히 더 커진 것이 아닙니다. 당신이 던지는 모든 질문에 대해 훨씬 더 심각하게 ‘생각’하고 있으며, 바로 여기서 실제 돈, 아니, 실제 청구서가 발생합니다.
이 화려한 새 기술을 추론 스케일링, 혹은 더 일반적으로 테스트 시간 컴퓨팅이라고 부릅니다. 핵심 아이디어는 모델이 디지털 두뇌를 한 번 통과하고 답을 내뱉는 대신, 추가적인 처리 능력을 사용하여, 말하자면, 자신의 논리를 확인한다는 것입니다. 스스로 반복하고, 다듬고, 최상의 응답이라고 판단할 때까지 정중하게 논쟁을 벌이는 것과 같습니다. 제품 팀에게 이는 단순한 켜고 끄기 스위치가 아닙니다. 이는 높은 위험을 감수하는 운영 결정이자, 더 나은 답변이 월간 클라우드 청구서의 상당 부분을 차지할 수 있는 균형 잡기 게임입니다.
보시다시피, 당신의 챗봇이 내부 독백을 하느라 바쁜 동안 – ‘숨겨진 추론 토큰’이라고 불리는 것을 생성하면서 – 그 토큰들은 당신의 채팅 버블로 들어가지 않습니다. 아니요. 그것들은 순수한 컴퓨팅 비용이며, 아무도 보지 못하지만 모두가 지불해야 하는 청구서의 조용한 급증입니다.
거대한 컴퓨팅 계산: 왜 당신의 AI 청구서가 폭발하는가
이 새로운 환경을 탐색하는 것은 오래된 비용-품질-지연 시간 삼각형과 씨름하는 것을 의미합니다. 이것은 회계 담당자부터 엔지니어까지 모든 사람을 정렬한다고 하는 만트라입니다. 재무 부서는 모든 토큰 생성, 보이는 것이든 숨겨진 것이든, 가격표가 붙어 있기 때문에 이익률 감소를 지켜보고 있습니다. 인프라 전문가들은 p95 지연 시간 – 요청의 가장 느린 5% – 때문에 땀을 흘리며, 모델이 ‘생각’하는 데 너무 오래 걸려 시스템 전체가 멈추지 않기를 기도하고 있습니다. 제품 관리자는 솔로몬처럼 행동해야 합니다. 사소하게 더 나은 답변이 영원처럼 느껴지는 30초의 일시 중지 가치가 있는지 결정해야 합니다. 그리고 위험 관리 팀은 말할 것도 없습니다. 이 모든 내부 숙고가 안전 검사를 방해하는 것이 아니라 실제로 우회하는 데 도움이 될 수 있는지 알아내려고 노력하고 있습니다.
그렇다면, 그 거대한 전략은 무엇일까요? 분명히, 그것은 범주화에 관한 것입니다. 작업을 ‘사용’, ‘보류’, ‘회피’ 버킷으로 나누는 것이죠. 간단한 작업? 좋습니다. 저렴하고 빠른 모델을 사용합시다. 깊은 생각이 필요한 고위험 논리 퍼즐? 여기서 당신은 큰 총을 발사합니다. 즉, 더 많은 시간을 – 그리고 훨씬 더 많은 컴퓨팅 자원을 – 올바르게 처리하기 위해 지출하려는 모델입니다. 하지만 ‘올바른’은 주관적인 용어이지 않습니까?
추론 스케일링: 그것이 무엇이며 왜 비용이 많이 드는가
전통적으로 AI 모델을 더 똑똑하게 만드는 것은 훈련 시간의 문제였습니다. 당신은 GPU에 수백만 달러를 지출하여 훈련이 끝난 신경망을 만들어냈고, 그것은 얻을 수 있는 만큼 똑똑해졌습니다. 그러나 추론 스케일링은 이 막대한 자원 할당을 배포 전 단계에서 생성 순간으로 옮깁니다. 각 쿼리에 대해 네트워크를 한 번만 통과하는 대신, 모델은 이제 반복적인 추론 루프에 들어갑니다. 이는 수학자에게 방정식을 푸는 것뿐만 아니라 자신의 사고 과정을 설명하는 짧은 에세이를 쓰도록 요청하는 것과 같습니다. 그리고 결과만 원했더라도 에세이에 대해 지불해야 하는 것이죠.
이 ‘사고’는 소위 생각의 연쇄(chain of thought)를 통해 이루어지며, 여기에는 몇 가지 핵심 구성 요소가 포함됩니다.
분해: 복잡하고 다단계적인 문제를 더 작고 관리 가능한 논리 조각으로 나눕니다. 자가 수정: 모델이 자신의 오류를 적극적으로 식별하고 최종 출력을 보기 전에 수정하기 위해 다시 돌아갑니다. 전략적 선택: 내부적으로 여러 개의 가능한 답변을 생성하고, 점수를 매긴 다음, ‘최고’를 선택합니다. 피자를 열 판 주문하고 실제로 먹을 수 있는 한 판만 지불하는 것을 상상해 보세요.
결과는 프롬프트당 매우 유연한 지출입니다. 이메일을 요약하는 것과 같은 간단한 요청은 모델이 깊은 사고가 필요하지 않다는 것을 빠르게 식별하기 때문에 저렴하고 빠릅니다. 하지만 분산 시스템에 대한 아키텍처 검토와 같은 복잡한 쿼리는 어떻습니까? 이것이 바로 컴퓨팅 예산이 심각하게 운동을 하는 곳입니다. 모델은 자신의 추론을 다시 확인하기 위해 수천 개의 토큰을 생성하는 데 – 그리고 정말로 – 오랜 시간을 보낼 수 있습니다. 의심할 여지 없이 매혹적인 기술이지만, 매혹적인 것이 전기 요금을 지불해주지는 않습니다.
그리고 명확히 말하자면, 이것은 마법 총알이 아닙니다. 추론 스케일링은 형편없는 훈련 데이터를 마법처럼 고치지 않습니다. 모델이 논리 퍼즐을 통해 추론할 수 있지만, 기초 데이터가 결함이 있었다면 편향되거나 사실적으로 부정확한 쓰레기를 여전히 쏟아낼 수 있습니다. 이것은 안전 장치도 아닙니다. 가장 정교한 내부 추론조차도 기본 모델이 문제가 있다면 유해한 결과로 이어질 수 있습니다. 연구 결과는 상당히 명확합니다. 성능은 컴퓨팅과 함께 확장되지만, 모델은 여전히 익숙한 훈련 영역 밖의 문제에 질식합니다.
청구서를 부담하는 사람이라면 흥미롭고 (무서운) 표를 제시합니다.
| 기능 | 훈련 시간 스케일링 | 추론 시간 스케일링 |
|---|---|---|
| 투자 시점 | 배포 전 단계 | 생성 시점 |
| 운영 논리 | 네트워크를 통한 단일 순방향 통과 | 반복적인 추론 루프 및 자가 수정 |
| 모델 지능 | 훈련 완료 시 정적 | 프롬프트 복잡성에 따라 동적 |
| 확장성 연결고리 | 새 모델 버전 필요 | 사고 시간 증가로 확장 |
프로덕션에서 청구서가 폭발하는 이유
Apple Machine Learning Research는 위험한 추세를 지적했습니다. 그들은 모델이 더 많이 ‘생각’하기 시작하면 GPU 메모리를 더 오래 차지한다고 지적합니다. 이것은 단순한 사소한 불편이 아니라 시스템 동시성에 직접적인 영향을 미칩니다. 동일한 하드웨어로 더 적은 수의 사용자를 서비스할 수 있으므로, 회사는 더 비싼 GPU를 구매하거나 접근을 심각하게 제한해야 합니다. 어느 쪽도 성장에 좋지 않습니다.
그리고 비용-품질-지연 시간 삼각형은 어떻습니까? 이것이 바로 고무가 도로와 만나는 곳, 또는 더 정확하게는 예산이 현실과 만나는 곳입니다. 각 모서리를 정의하려면 무자비한 정직이 필요합니다.
비용: 이것은 더 이상 출력 토큰에 관한 것이 아닙니다. 그것은 숨겨진 추론 토큰, 재시도, GPU 시간입니다. 모델이 GPU를 더 오래 차지할수록 회사는 해당 하드웨어에서 더 적은 수익을 얻습니다.
품질: 작업 성공률, 특히 할루시네이션에 대한 결함률로 측정됩니다. 사실 확인 및 평가 점수가 가장 중요해집니다. 모델의 ‘사고’가 실제로 더 좋고 더 정확한 결과로 이어졌는지 객관적으로 평가할 방법이 필요합니다.
지연 시간: P50 (중앙값 응답 시간)은 일반적인 경험을 이해하는 데 좋지만, P95가 진짜 괴물입니다. 가장 느린 5%의 요청 – 모델이 철학적인 길을 벗어난 것들 – 은 시간 초과를 유발할 수 있으며, 전체 애플리케이션이 고장난 것처럼 느끼게 만듭니다.
따라서 챗봇은 속도(낮은 지연 시간)를 우선시하고 약간 덜 정확한 답변의 위험을 수용할 수 있습니다. 그러나 아키텍처 계획을 위해 설계된 시스템은 어떻습니까? 이것은 품질이 중요하며, 출력이 확실하도록 더 긴 지연 시간과 더 높은 토큰 지출을 수용해야 합니다. 이것은 절충안이며, 영원한 협상이며, 청구서를 지불하는 누구에게나 끊임없는 두통입니다.
추론 스케일링으로의 이러한 전환은 기술적 경이로움이라기보다는 AI 운영 방식의 근본적인 변화입니다. 이것은 모델의 이론적 뛰어남이 프로덕션 비용의 차갑고 어려운 현실과 만나는 순간입니다. 그리고 지금, 그 현실은 매우, 매우 비싸 보입니다.
‘더 똑똑한 AI’에 대한 PR 과대 광고를 넘어 나를 괴롭히는 질문은 누가 진정으로 여기서 이익을 얻고 있는가 하는 것입니다. 더 긴 기다림으로 약간 더 나은 답변을 얻는 최종 사용자도 아닙니다. 더 복잡한 절충안을 저글링해야 하는 제품 관리자도 아닙니다. 기본 수혜자는 인프라 제공업체와 물론, 점점 더 탐욕스러운 모델을 판매하는 회사들인 것 같습니다. 우리는 본질적으로 더 깊은 생각의 환상에 대해 프리미엄을 지불하고 있으며, 이는 빠르게 규범이 되고 있는 럭셔리 컴퓨팅입니다.
