오픈AI는 자체 개발한 AI 추론용 ASIC ‘할라페뇨(Jalapeño)’ 칩 공개로 에너지 효율성 및 응답 속도 개선을 발표했다. IBM은 추론 능력을 강화한 오픈소스 언어 모델 ‘그래닛 4.2(Granite 4.2)’를 출시했으며, 타타 커뮤니케이션즈는 고객 경험(CX) 분야에서 ‘AI 오케스트레이션’의 중요성을 강조했다.
핵심 기술 사양 및 성능 비교
오픈AI의 할라페뇨 칩은 브로드컴(Broadcom)과 협력 개발된 AI 추론 전용 ASIC이다. 엔비디아(Nvidia) GB200 및 GB300 슈퍼칩과의 벤치마크 테스트 결과는 다음과 같다.
- AI 작업 효율: GPT-OSS 120B, DeepSeek R1, Kimi K2.5 1T 모델에서 와트당 1.5배에서 1.9배 더 많은 AI 작업량을 처리했다.
- 엔드투엔드 지연 시간: 동일 모델에서 1.7배에서 3.6배 낮은 엔드투엔드 지연 시간을 기록, 처리량과 지연 시간 간의 전통적인 상충 관계를 개선했다.
IBM의 그래닛 4.2 언어 모델은 3B, 8B, 30B 파라미터 크기로 제공되며, 명시적인 추론 능력에 중점을 둔다.
- 모델 구조 및 학습: 디코더 전용 덴스 트랜스포머 기반으로 약 15조 개의 토큰으로 사전 학습되었으며, 다단계 강화 학습을 거쳤다. 8B 및 30B 모델은 실제 샌드박스 환경에서 에이전트 기능 학습용 강화 학습 블록을 포함한다.
- 라이선스: Apache 2.0 라이선스로 상업적 사용 및 미세 조정이 가능하다.
산업 파급 효과 및 비즈니스 시사점
오픈AI 할라페뇨 칩은 고성능 AI 추론을 위한 에너지 효율적인 솔루션을 제공하여, 대규모 AI 서비스 기업의 운영 비용 절감 및 응답 속도 개선에 기여할 전망이다. 오픈AI는 올해 말 소량 배포를 시작, 2027년까지 점진적으로 확대하며 엔비디아와의 협력 및 차세대 칩 개발도 지속한다.
IBM 그래닛 4.2 모델은 오픈소스 정책을 통해 다양한 규모의 조직이 AI 기술에 쉽게 접근하고 맞춤형 솔루션을 개발하도록 돕는다. 금융, 헬스케어 등 규제 산업군에서는 온프레미스 배포 옵션으로 데이터 주권 및 보안 요구사항을 충족시킨다.
타타 커뮤니케이션즈는 기업들이 AI 상담원 및 음성 AI를 기존 레거시 시스템에 단순히 결합하는 방식에서 벗어나, 고객 상호작용의 전체 맥락을 공유하는 ‘오케스트레이션’ 플랫폼으로 전환해야 한다고 지적했다. 이는 AI 시스템과 인간 상담원 간 원활한 협업을 가능하게 하여, 고객 경험 일관성 및 내부 비효율성 해소에 기여할 것으로 분석된다. 개별 업무 자동화를 넘어 엔드투엔드 결과 달성을 위한 AI 전략 변화를 시사한다.