Các công ty công nghệ đang chạy đua mua sắm hạ tầng AI khổng lồ, nhưng phần lớn trong số đó hầu như không thực hiện bất kỳ công việc hữu ích nào.
Một báo cáo mới nhất từ Cast AI, dựa trên phân tích hàng chục nghìn cụm máy chủ trên các nền tảng đám mây lớn như AWS, Azure và Google Cloud, đã đưa ra con số gây sốc: Tỉ lệ sử dụng GPU trung bình chỉ đạt mức 5%.
Điều này có nghĩa là các doanh nghiệp đang trả tiền cho lượng tài nguyên GPU gấp 20 lần so với nhu cầu thực tế của họ tại bất kỳ thời điểm nào. Tác giả báo cáo gọi đây là một "thất bại toán học" (math fail) trong việc quản lý và tối ưu hóa hạ tầng công nghệ.
Đáng báo động hơn, tình hình này đang trở nên tồi tệ hơn qua từng năm thay vì được cải thiện. Tỉ lệ sử dụng CPU đã giảm từ 10% xuống còn 8%, và bộ nhớ (Memory) cũng giảm từ 23% xuống 20%. Trong khi đó, tình trạng "overprovisioning" — tức là việc đặt trước tài nguyên vượt quá nhu cầu thực tế — đã tăng vọt lên 69% đối với CPU và 79% đối với bộ nhớ.
Lý do chính được đưa ra là các đội ngũ kỹ thuật thường lo sợ thiếu hụt tài nguyên gây gián đoạn dịch vụ, dẫn đến việc họ dự trữ quá mức cần thiết. Tuy nhiên, trong bối cảnh giá chip và chi phí điện năng tăng cao, sự lãng phí này đang trở thành gánh nặng tài chính khổng lồ cho các doanh nghiệp đang cố gắng "đu trend" AI.