Memory Watch - AI Agent 시대에 새롭게 주목..

• 01초기 생성형 AI 워크로드는 사용자 입력에 대한 답변 생성에 초점이 있으며, 연산 병목은 모델의 행렬 연산, 메모리 대역폭, KV Cache 처리 효율 같은 GPU 중심 요소에 집중되어 있음
• 02생성형 AI 단계에서는 CPU가 AI 연산을 직접 처리하기보다 네트워크 관리, 스케줄링, 스토리지 관리 등 시스템 제어와 GPU 연산 보조 역할을 수행함
• 03AI 에이전트 시장이 커지면서 추론 워크로드가 단순 응답 생성에서 사용자 요청 해석, 외부 툴 및 데이터 호출·실행, 결과 반영 후 추가 의사결정 반복의 다층 실행 구조로 변화하고 있음
• 04AI 에이전트 환경에서는 작업 레이어가 늘어나면서 스케줄링과 오케스트레이션 과정이 고도화되어 Non-GPU 연산 비중이 크게 증가함
• 05AI 에이전트 추론 과정에서 CPU는 요청 해석, 작업 스케줄링, 데이터베이스 접근, 툴 호출과 실행, 세션 및 메모리 관리 등 AI 워크로드 전반의 제어와 외부 툴 실행을 담당함
• 06AI 에이전트 환경에서는 GPU만이 아니라 GPU와 CPU의 적절한 조화가 클러스터 효율을 좌우하는 방향으로 중요성이 이동하고 있음

초기 생성형 AI는 모델 행렬 연산, 메모리 대역폭, KV Cache 처리 효율 등 GPU 중심 요소가 연산 병목을 좌우하는 구조임.

AI 에이전트로 진화하면서 추론이 요청 해석·외부 툴 호출·결과 반영의 반복형 다층 실행으로 확장되고, 작업 레이어 증가로 스케줄링·오케스트레이션에서 CPU를 포함한 Non-GPU 비중이 커져 GPU-CPU 조화가 클러스터 효율에 중요해짐.