79% doanh nghiệp sử dụng AI có GPU nhàn rỗi ít nhất nửa thời gian

Doanh nghiệp đang chi hàng triệu đô la để xây dựng năng lực trí tuệ nhân tạo, nhưng một phần lớn tài nguyên tính toán hiện có lại chưa được sử dụng hiệu quả. Nghịch lý này xuất hiện trong dữ liệu khảo sát mới của VentureBeat Intelligence: 79% doanh nghiệp đang vận hành AI cho biết bộ xử lý đồ họa chuyên dụng của họ hoạt động không quá nửa thời gian. Đáng chú ý hơn, 70% trong nhóm này vẫn dự định bổ sung, thay thế hoặc chuyển sang nền tảng tính toán AI khác trong vòng 12 tháng tới.

Đây không chỉ là câu chuyện về những máy chủ chưa chạy hết công suất. Nó phản ánh một vấn đề lớn hơn trong nền kinh tế AI: doanh nghiệp đang phải trả tiền cho hai thứ khác nhau — năng lực tính toán và trí tuệ của các mô hình AI tiên tiến — nhưng chưa chắc đã biết cách kết hợp chúng để tạo ra hiệu quả kinh tế.

Trong khi nhà đầu tư tranh luận liệu thị trường AI có hình thành bong bóng hay không, dữ liệu từ phía khách hàng cho thấy một câu hỏi thiết thực hơn. Nếu doanh nghiệp chưa khai thác hết tài nguyên hiện có, điều gì khiến họ tiếp tục muốn mua thêm?

79% doanh nghiệp có GPU nhàn rỗi ít nhất nửa thời gian

Dữ liệu do VentureBeat Intelligence tổng hợp từ ba đợt khảo sát hằng tháng trong tháng 7, tháng 8 và tháng 9 năm 2026 cho thấy tình trạng sử dụng GPU thấp duy trì khá ổn định. Trong số 218 người trả lời có cung cấp số liệu về mức sử dụng GPU tại các tổ chức đang vận hành AI, có 172 tổ chức, tương đương 79%, cho biết GPU hoạt động không quá nửa thời gian.

Tỷ lệ này dao động từ 77% đến 81% trong từng tháng khảo sát. Sự ổn định đó cho thấy hiện tượng không chỉ xuất hiện trong một thời điểm riêng lẻ của mùa ngân sách.

Tuy nhiên, dữ liệu cần được hiểu đúng phạm vi. Khảo sát không bao gồm mọi doanh nghiệp đang sử dụng AI, mà tập trung vào những người trả lời đủ điều kiện tại các tổ chức có từ 100 nhân viên trở lên. Những đơn vị không đo lường mức sử dụng GPU hoặc không trực tiếp vận hành GPU cũng không nằm trong nhóm tính toán tỷ lệ nói trên.

Dù vậy, quy mô của hiện tượng vẫn đáng chú ý. Trong khi nhiều doanh nghiệp từng lo thiếu năng lực tính toán AI vào năm 2024 và 2025, một bộ phận đáng kể hiện có tài nguyên nhàn rỗi nhưng vẫn muốn đầu tư thêm.

70% doanh nghiệp có GPU nhàn rỗi vẫn muốn đổi nền tảng

Nếu vấn đề chỉ là mua quá nhiều GPU, giải pháp có vẻ đơn giản: sử dụng hết tài nguyên trước khi đầu tư thêm. Nhưng hành vi được ghi nhận trong khảo sát phức tạp hơn.

Trong nhóm 172 doanh nghiệp có GPU hoạt động không quá nửa thời gian, 120 doanh nghiệp, tương đương 70%, dự định bổ sung, thay thế hoặc chuyển sang một nền tảng tính toán AI mới trong 12 tháng tiếp theo.

Tỷ lệ này gần tương đương với nhóm doanh nghiệp có GPU hoạt động hơn nửa thời gian. Trong nhóm thứ hai, 34 trên 46 tổ chức, tương đương 74%, cũng lên kế hoạch triển khai nền tảng mới. Chênh lệch giữa 70% và 74% không có ý nghĩa thống kê theo cách đánh giá được báo cáo sử dụng.

Những con số này không chứng minh rằng mọi kế hoạch đầu tư mới đều lãng phí. Một số doanh nghiệp có thể đang chuẩn bị cho những đợt nhu cầu tăng đột biến, thay thế hạ tầng cũ hoặc mở rộng công việc chưa được đưa vào vận hành. Khảo sát cũng không hỏi trực tiếp vì sao từng tổ chức có GPU nhàn rỗi.

Điều có thể khẳng định là mức sử dụng thấp chưa khiến nhu cầu đầu tư mới biến mất. Vì thế, bài toán của thị trường không chỉ là tổng lượng GPU được xây dựng, mà còn là khả năng biến năng lực tính toán đã mua thành công việc hoàn thành và giá trị kinh doanh.

Doanh nghiệp đang mua năng lực tính toán và trí tuệ AI như hai sản phẩm riêng biệt

Một cách giải thích cho nghịch lý này nằm ở sự khác biệt giữa hạ tầng và mô hình.

Năng lực tính toán là phần tài nguyên dùng để chạy công việc AI. Nó có thể đến từ GPU do doanh nghiệp trực tiếp sở hữu, cụm máy chủ đặt tại trung tâm dữ liệu hoặc hạ tầng thuê từ nhà cung cấp đám mây.

Trí tuệ của mô hình lại là một sản phẩm khác. Nhân viên có thể sử dụng những mô hình tiên tiến của OpenAI, Anthropic hoặc Google thông qua giao diện lập trình ứng dụng, gói thuê bao hoặc dịch vụ đám mây. Trong những trường hợp này, doanh nghiệp trả tiền theo lượng dữ liệu xử lý hoặc theo năng lực được đặt trước, trong khi nhà cung cấp vận hành mô hình trên hạ tầng của họ.

Hai khoản đầu tư này không thể tự động thay thế cho nhau.

Một doanh nghiệp có thể sở hữu GPU chưa sử dụng hết, nhưng vẫn trả tiền để nhân viên dùng mô hình tiên tiến thông qua dịch vụ bên ngoài. Nếu mô hình đó không được cung cấp dưới dạng có thể tự vận hành, doanh nghiệp không thể đơn giản chuyển yêu cầu sang GPU đang nhàn rỗi.

Đối với các mô hình đóng như GPT của OpenAI hoặc Claude của Anthropic, doanh nghiệp thường phải tiếp tục sử dụng hạ tầng và cơ chế cung cấp do nhà phát triển hoặc đối tác đám mây hỗ trợ. Muốn chuyển một phần công việc sang GPU của mình, doanh nghiệp có thể phải sử dụng mô hình có trọng số mở và tự vận hành.

Đây là một quyết định kỹ thuật thực sự, không chỉ là thay đổi nhà cung cấp. Đội ngũ kỹ sư phải triển khai mô hình, kiểm tra chất lượng, quản lý tài nguyên, xử lý bảo mật và duy trì hoạt động. Với những công việc đòi hỏi khả năng suy luận cao, lựa chọn thay thế cũng có thể không đáp ứng được yêu cầu.

90% doanh nghiệp vẫn hướng tới nhà cung cấp đám mây hoặc mô hình AI

Trong nhóm doanh nghiệp có GPU nhàn rỗi và dự định triển khai nền tảng mới, 90% cho biết họ cân nhắc một nền tảng đám mây hoặc nhà cung cấp mô hình AI. Chỉ 8% nêu cụm GPU tại chỗ, cụm máy chủ đặt thuê tại trung tâm dữ liệu hoặc hệ thống mã nguồn mở tự quản lý trong số các lựa chọn của mình.

Kết quả này cho thấy doanh nghiệp vẫn nghiêng về những dịch vụ giúp giảm gánh nặng triển khai và vận hành. Đám mây có thể cung cấp khả năng mở rộng, còn nhà cung cấp mô hình giúp doanh nghiệp tiếp cận năng lực AI tiên tiến mà không phải tự xây dựng toàn bộ hệ thống.

Nhưng sự tiện lợi cũng có giá của nó. Doanh nghiệp có thể trả tiền cho GPU ở một nơi và trả tiền cho việc xử lý yêu cầu AI ở một nơi khác, trong khi chưa tối ưu được cách phân bổ công việc giữa hai nguồn lực.

Ngược lại, những tổ chức tự vận hành cụm GPU hoặc hệ thống mã nguồn mở báo cáo tình trạng sử dụng tài nguyên tốt hơn. Trong nhóm 32 tổ chức sử dụng các mô hình triển khai này, 18 tổ chức, tương đương 56%, có GPU hoạt động không quá nửa thời gian. Ở nhóm doanh nghiệp còn lại, tỷ lệ này là 83%.

Sự khác biệt đáng kể, nhưng không thể tự động kết luận rằng tự vận hành luôn hiệu quả hơn. Khảo sát không xác định nguyên nhân. Một giả thuyết được tác giả bài phân tích nêu ra là những đội ngũ trực tiếp quản lý hạ tầng nhìn thấy rõ từng giờ GPU nhàn rỗi và có kỹ sư để điều phối công việc. Tuy nhiên, đây là cách giải thích, không phải kết luận đã được khảo sát chứng minh.

91% chưa có số liệu lợi tức đầu tư được bộ phận tài chính xác nhận

Trong khảo sát tháng 9, 58 trên 64 doanh nghiệp dự định triển khai nền tảng tính toán AI mới, tương đương 91%, chưa có con số lợi tức đầu tư được bộ phận tài chính rà soát.

Đây là một dấu hiệu quan trọng trong bối cảnh nhiều doanh nghiệp đang chịu áp lực kiểm soát ngân sách AI. Việc triển khai nền tảng mới có thể hợp lý nếu giúp tăng công suất, cải thiện chất lượng hoặc giảm chi phí dài hạn. Nhưng nếu không xác định được giá trị kinh tế cần đạt, doanh nghiệp khó biết khoản đầu tư có giải quyết đúng vấn đề hay chỉ làm hệ thống phức tạp hơn.

Bài toán càng khó khi chi phí AI không dừng ở hóa đơn GPU. Nó còn bao gồm tiền sử dụng mô hình, kỹ sư triển khai, lưu trữ dữ liệu, giám sát, đánh giá chất lượng và xử lý lỗi.

Một nền tảng rẻ hơn chưa chắc tạo ra công việc rẻ hơn. Mô hình có giá mỗi đơn vị xử lý thấp nhưng phải thực hiện nhiều lượt suy luận hoặc tạo ra kết quả cần sửa chữa có thể khiến tổng chi phí cao hơn. Ngược lại, một mô hình đắt hơn nhưng hoàn thành nhiệm vụ chính xác trong ít bước hơn đôi khi có thể đem lại hiệu quả kinh tế tốt hơn.

Vì thế, chỉ số quan trọng không nên dừng ở giá GPU mỗi giờ hoặc giá cho mỗi triệu đơn vị xử lý. Doanh nghiệp cần đo chi phí để hoàn thành một nhiệm vụ có giá trị cụ thể.

AI Agent có thể khiến hóa đơn tăng dù giá mỗi đơn vị xử lý giảm

Tác nhân AI đang làm thay đổi cấu trúc chi phí. Một yêu cầu đơn giản có thể chỉ cần một lần gọi mô hình. Nhưng một tác nhân được giao nhiệm vụ phức tạp có thể lập kế hoạch, đọc tài liệu, gọi công cụ, kiểm tra kết quả, sửa lỗi và thực hiện nhiều bước liên tiếp.

Mỗi bước có thể phát sinh thêm lượng dữ liệu đầu vào và đầu ra cần xử lý. Vì vậy, ngay cả khi giá cho mỗi đơn vị xử lý giảm, tổng chi phí vẫn có thể tăng nếu số bước và lượng dữ liệu sử dụng tăng nhanh hơn.

Gartner dự báo chi phí suy luận cho mỗi quy trình sử dụng tác nhân AI có thể tăng hơn năm lần đến năm 2028. Đây là dự báo được trích dẫn trong bài viết gốc, không phải mức tăng đã được ghi nhận trên toàn bộ thị trường.

Một nghiên cứu của Vals AI được bài viết dẫn lại cho biết các nhóm tác nhân phục vụ lập trình, trong đó một tác nhân điều phối tối đa năm tác nhân phụ, có chi phí gấp 1,8 đến 5,1 lần so với một tác nhân đơn lẻ. Chỉ một trong bốn cấu hình nhóm được thử nghiệm cải thiện điểm đánh giá chuẩn ở mức có ý nghĩa thống kê.

Kết quả này đặt ra một câu hỏi thực tế: thêm tác nhân có thực sự làm tăng năng suất đủ để bù chi phí hay không?

Nhiều tác nhân có thể hữu ích khi công việc chia được thành các phần độc lập và thực hiện song song. Nhưng nếu các tác nhân lặp lại cùng một công việc, xử lý thông tin trùng lặp hoặc cần nhiều bước điều phối, hóa đơn có thể tăng mà kết quả không cải thiện tương ứng.

Doanh nghiệp nên đánh giá cấu hình dựa trên chất lượng đầu ra, thời gian hoàn thành và chi phí của toàn bộ nhiệm vụ, thay vì cho rằng nhiều tác nhân hơn luôn tốt hơn.

Bộ nhớ đệm có thể giảm chi phí xử lý dữ liệu lặp lại

Một phần đáng kể dữ liệu mà tác nhân lập trình xử lý không phải thông tin mới. Đó có thể là hướng dẫn, tài liệu và lịch sử làm việc mà mô hình phải đọc lại ở nhiều bước.

Theo hướng dẫn kỹ thuật của hai kỹ sư Nvidia được bài viết gốc dẫn lại, sau lần gọi đầu tiên trong một phiên Claude Code, những lần gọi tiếp theo có thể tái sử dụng từ 85% đến 97% ngữ cảnh thông qua bộ nhớ đệm. Bộ nhớ đệm cho phép hệ thống tận dụng dữ liệu đã xử lý thay vì phải xử lý lại toàn bộ từ đầu.

Theo bài viết, Anthropic tính phí cho dữ liệu đầu vào được lưu trong bộ nhớ đệm ở mức từ một phần bốn mươi đến một phần mười giá thông thường, tùy mô hình.

Điều đó khiến việc quản lý ngữ cảnh trở thành một công việc tối ưu chi phí quan trọng. Nếu tác nhân được cung cấp quá nhiều tài liệu không liên quan, doanh nghiệp có thể phải trả tiền xử lý dữ liệu không cần thiết. Nếu những phần ngữ cảnh giống nhau được gửi lặp lại mà không tận dụng bộ nhớ đệm, chi phí có thể tăng thêm.

Tối ưu không đồng nghĩa với cắt bỏ thông tin quan trọng. Mục tiêu là đưa đúng thông tin vào đúng bước, giữ lại những dữ liệu cần thiết và tái sử dụng phần có thể tái sử dụng một cách an toàn.

GPU nhàn rỗi là cơ hội cho mô hình mã nguồn mở

Nếu doanh nghiệp đã có GPU nhưng chưa sử dụng hết, một lựa chọn là chuyển những công việc phù hợp sang mô hình có trọng số mở và tự vận hành.

Các tác vụ như phân loại dữ liệu, trích xuất thông tin và tóm tắt theo mẫu có thể là ứng viên để thử nghiệm, nếu mô hình đáp ứng yêu cầu về chất lượng, bảo mật và tốc độ. Thay vì trả phí cho mỗi yêu cầu thông qua một dịch vụ bên ngoài, doanh nghiệp có thể tận dụng tài nguyên sẵn có để xử lý một số lượng công việc lớn.

Tuy nhiên, không nên chuyển toàn bộ công việc sang mô hình mở chỉ vì GPU đang nhàn rỗi. Bài viết gốc cho biết trong các thử nghiệm của VentureBeat vào tháng 10, DeepSeek là mô hình có chi phí thấp nhất trong năm mô hình mở được kiểm tra. Nhưng DeepSeek đến từ một phòng nghiên cứu tại Trung Quốc, và một số doanh nghiệp vẫn ngần ngại phụ thuộc sâu vào mô hình Trung Quốc vì những lý do riêng.

Điều đó cho thấy quyết định lựa chọn mô hình không chỉ dựa trên giá. Doanh nghiệp còn phải cân nhắc yêu cầu bảo mật, quy định nội bộ, vị trí xử lý dữ liệu, khả năng hỗ trợ và mức độ phù hợp với công việc.

Một chiến lược hợp lý có thể là sử dụng mô hình tiên tiến cho những nhiệm vụ đòi hỏi khả năng suy luận cao, trong khi chuyển những công việc thường xuyên, có khối lượng lớn và yêu cầu ổn định sang mô hình tự vận hành. Cách phân bổ này cần được xác minh bằng thử nghiệm thực tế thay vì dựa vào giả định rằng mô hình rẻ hơn sẽ luôn có tổng chi phí thấp hơn.

Sáu việc doanh nghiệp nên làm trước khi ký hợp đồng AI mới

Trước khi mua thêm hạ tầng hoặc chuyển sang một nền tảng khác, doanh nghiệp nên bắt đầu bằng việc đo lường những gì mình đang trả tiền và những gì thực sự nhận được.

Thứ nhất, tính chi phí cho mỗi nhiệm vụ hoàn thành. Kết hợp chi phí GPU, phí sử dụng mô hình và các chi phí vận hành liên quan. Một nhiệm vụ được tính là hoàn thành khi đạt tiêu chuẩn chất lượng đã xác định, không phải chỉ khi mô hình tạo ra câu trả lời.

Thứ hai, chọn mô hình dựa trên hiệu quả tổng thể. Kiểm tra các mô hình và mức độ suy luận khác nhau bằng những công việc thực tế của doanh nghiệp. Giá cho mỗi đơn vị xử lý chỉ là một thành phần của tổng chi phí.

Thứ ba, giới hạn ngữ cảnh và sử dụng bộ nhớ đệm. Chỉ gửi dữ liệu cần thiết cho từng tác vụ, tái sử dụng ngữ cảnh phù hợp và tránh để tác nhân liên tục đọc lại những tài liệu không thay đổi.

Thứ tư, chỉ bổ sung tác nhân khi có lý do rõ ràng. Chia việc thành nhiều tác nhân khi các phần có thể chạy song song và kết quả cải thiện đủ để bù chi phí. Nếu không, một tác nhân đơn lẻ có thể hiệu quả hơn.

Thứ năm, chuyển công việc phù hợp sang GPU đang nhàn rỗi. Thử nghiệm các tác vụ phân loại, trích xuất và tóm tắt với mô hình tự vận hành, sau đó so sánh chi phí, chất lượng và tốc độ với dịch vụ bên ngoài.

Thứ sáu, lấp đầy thời gian GPU còn trống bằng công việc có thể trì hoãn. Xử lý theo lô, đánh giá mô hình và tinh chỉnh mô hình có thể tận dụng những khoảng thời gian tài nguyên không được dùng cho các yêu cầu trực tiếp, nếu chúng phù hợp với năng lực hạ tầng.

Sáu bước này không có nghĩa mọi doanh nghiệp đều nên xây dựng trung tâm dữ liệu AI riêng. Mục tiêu là hiểu rõ tài nguyên nào đang nhàn rỗi, công việc nào phù hợp với chúng và liệu khoản đầu tư tiếp theo có tạo ra giá trị đo lường được hay không.

Doanh nghiệp Việt Nam cần tránh chạy theo hạ tầng trước khi hiểu bài toán kinh tế

Với doanh nghiệp Việt Nam, đặc biệt là các đơn vị nhỏ và vừa, việc sử dụng AI qua dịch vụ đám mây thường giúp bắt đầu nhanh mà không cần tự quản lý máy chủ GPU. Đây có thể là lựa chọn hợp lý khi nhu cầu chưa ổn định hoặc đội ngũ kỹ thuật còn hạn chế.

Nhưng khi lượng sử dụng tăng, chi phí theo yêu cầu có thể trở thành một khoản đáng kể. Ngược lại, mua GPU riêng cũng không tự động tiết kiệm hơn, bởi doanh nghiệp phải tính cả chi phí đầu tư, điện năng, làm mát, bảo trì, nhân sự và thời gian tài nguyên không hoạt động.

Doanh nghiệp nên ghi nhận chi phí cho những quy trình cụ thể như trả lời khách hàng, xử lý đơn hàng, tổng hợp báo cáo hoặc phân tích tài liệu. Sau đó, thử nghiệm xem công việc nào cần mô hình tiên tiến, công việc nào có thể dùng mô hình nhẹ hơn và công việc nào phù hợp với xử lý theo lô.

Đối với đơn vị chưa có đội ngũ kỹ thuật chuyên sâu, bắt đầu bằng việc đo chi phí và tối ưu cách sử dụng dịch vụ hiện có thường thực tế hơn là đầu tư ngay vào cụm GPU. Đối với doanh nghiệp đã có hạ tầng nhàn rỗi, việc thử nghiệm mô hình tự vận hành trên một nhóm tác vụ giới hạn có thể giúp xác định liệu tài nguyên đó có thể tạo thêm giá trị hay không.

Điều quan trọng là không nhầm lẫn giữa việc sử dụng AI nhiều hơn và việc tạo ra hiệu quả kinh doanh cao hơn. Một hệ thống có nhiều yêu cầu, nhiều tác nhân và nhiều GPU hoạt động chưa chắc tốt hơn hệ thống hoàn thành cùng công việc với chi phí thấp hơn.

Bong bóng AI có thể không chỉ nằm ở người bán GPU

Cuộc tranh luận về bong bóng AI thường tập trung vào những nhà cung cấp hạ tầng như Nvidia, Microsoft, Google, Amazon Web Services và các đơn vị chuyên cho thuê GPU như CoreWeave. Ngày 13 tháng 10, Quỹ Tiền tệ Quốc tế cảnh báo rằng sự sụt giảm mạnh của cổ phiếu AI có thể đe dọa ổn định tài chính toàn cầu.

Tuy nhiên, dữ liệu về doanh nghiệp sử dụng AI mở ra một góc nhìn khác. Vấn đề có thể không chỉ là thị trường xây dựng quá nhiều năng lực tính toán, mà còn là khách hàng chưa biết cách biến năng lực đó thành giá trị kinh tế một cách hiệu quả.

Một doanh nghiệp có thể sở hữu GPU nhàn rỗi, trả tiền cho các mô hình tiên tiến và tiếp tục lên kế hoạch mua nền tảng mới. Ba quyết định đó có thể cùng tồn tại khi hạ tầng, mô hình và quy trình vận hành được quản lý như những khoản đầu tư tách rời.

Điều này chưa đủ để kết luận thị trường AI đang ở trong bong bóng. Dữ liệu khảo sát cũng không chứng minh rằng toàn bộ GPU nhàn rỗi là lãng phí, hay mọi kế hoạch đầu tư mới đều thiếu cơ sở. Một phần công suất có thể được giữ lại để đáp ứng nhu cầu đột biến, và một số nền tảng mới có thể thay thế hạ tầng cũ.

Nhưng các con số đặt ra một yêu cầu rõ ràng đối với lãnh đạo doanh nghiệp: trước khi mua thêm năng lực tính toán, hãy chứng minh rằng khoản đầu tư hiện tại đang được sử dụng đúng cách và khoản đầu tư tiếp theo sẽ tạo ra giá trị gì.

Trong nền kinh tế AI, lợi thế không chỉ thuộc về doanh nghiệp sở hữu nhiều GPU nhất hay sử dụng mô hình mới nhất. Lợi thế sẽ đến từ khả năng phân bổ đúng công việc cho đúng mô hình, tận dụng tài nguyên hiện có và đo lường chi phí trên mỗi kết quả hoàn thành. Khi chi phí AI ngày càng gắn với những chuỗi hành động dài và phức tạp, hiệu quả vận hành có thể quan trọng không kém năng lực của mô hình.

79% doanh nghiệp sử dụng AI có GPU nhàn rỗi ít nhất nửa thời gian

GPU nhàn rỗi, chi phí AI, nền tảng tính toán AI, AI Agent, tối ưu GPU, mô hình mã nguồn mở, lợi tức đầu tư AI, chi phí suy luận, bộ nhớ đệm AI, hạ tầng AI doanh nghiệp, OpenAI, Anthropic, tự vận hành AI, doanh nghiệp Việt Nam