AI가 답하는 시간이 길거나 사용료가 비싸면 고객은 모델 이름보다 서비스가 답답하다고 느낀다. 그 속도와 비용을 결정하는 핵심 중 하나가 반도체다. OpenAI가 Broadcom과 첫 자체 추론 칩 ‘Jalapeño’를 만든 이유다.
학습보다 답변할 때 쓰는 칩
추론은 이미 만들어진 AI 모델이 사용자의 질문에 답하는 과정이다. Jalapeño는 실시간 코딩 모델 같은 OpenAI의 실제 서비스 작업에 맞춰 설계됐다. 회사는 초기 시험에서 전력당 성능이 개선됐다고 밝혔지만 아직 테스트 단계다.
OpenAI 모델도 칩 설계에 활용됐다고 한다. 대규모 모델 학습은 당분간 NVIDIA 장비 의존이 계속될 가능성이 높다.
Apple이 아이폰 칩을 만든 것과 닮았다
자기 제품의 사용 패턴을 가장 잘 아는 회사가 전용 칩을 만들면 불필요한 부분을 줄이고 속도와 전력 효율을 높일 수 있다. Google과 Amazon도 같은 이유로 AI 가속기를 개발해왔다.
공개 개발자 문서에서는 Jalapeño의 상세 사양을 확인하기 어려워 성능 주장은 독립 검증을 기다려야 한다. 그래도 OpenAI가 모델과 앱뿐 아니라 데이터센터와 칩까지 직접 설계하는 회사로 변하고 있다는 신호는 분명하다. 고객에게는 더 빠르고 저렴한 AI로 이어지는지가 가장 중요한 결과다.
https://techcrunch.com/2026/06/24/openai-unveils-its-first-custom-chip-built-by-broadcom/
관련 글
같은 맥락에서 이어서 읽기 좋은 글들입니다.