Bán dẫn & Chip: nút thắt AI chuyển từ phép tính sang dòng dữ liệu

Phân tích công nghệ

Một máy chủ AI có thể sở hữu bộ xử lý rất mạnh nhưng vẫn chậm nếu dữ liệu không đến kịp. Trong bài phân tích công bố ngày 21/10/2026, SK hynix cho rằng trọng tâm thiết kế bán dẫn AI đang chuyển từ “compute-centric” sang “memory-centric”: không chỉ hỏi chip tính nhanh đến đâu, mà còn phải hỏi dữ liệu nằm ở đâu, di chuyển bao xa và tốn bao nhiêu điện.

Nút thắt này rõ hơn với mô hình Transformer. Trọng số, dữ liệu trung gian và KV cache tăng theo độ dài ngữ cảnh; hệ thống phải liên tục đưa dữ liệu từ DDR hoặc HBM tới bộ tăng tốc. Theo bài viết, một phép nhân hay cộng chỉ tiêu thụ vài femtojoule, trong khi lấy dữ liệu từ DRAM ngoài chip có thể tốn năng lượng cao hơn hàng trăm đến hàng nghìn lần. Con số cụ thể phụ thuộc kiến trúc, nhưng thông điệp vận hành rất rõ: mua thêm GPU không tự động giải quyết được độ trễ.

Ba hướng kỹ thuật đang hội tụ. HBM đặt bộ nhớ gần bộ xử lý để tăng băng thông; hybrid bonding tạo kết nối dày hơn giữa các die; còn PIM đưa một phần phép tính tới gần hoặc vào bộ nhớ. Tác giả cho biết PIM có thể giảm điện năng 10–100 lần trong một số khối lượng công việc mà chi phí di chuyển dữ liệu lớn hơn chi phí tính toán. Đây là nhận định kỹ thuật theo từng workload, không phải mức tiết kiệm bảo đảm cho mọi hệ thống.

Doanh nghiệp nên làm gì? Trước khi mở rộng hạ tầng AI, hãy đo riêng độ trễ suy luận, kích thước batch, độ dài ngữ cảnh, tỷ lệ sử dụng GPU, băng thông bộ nhớ và điện năng. Với AI agent, cần thử tải khi nhiều tác vụ giữ ngữ cảnh cùng lúc thay vì chỉ chạy một bản demo. Khi hỏi nhà cung cấp, nên yêu cầu số liệu ở workload gần với nghiệp vụ thật và tách rõ chi phí bộ nhớ, kết nối, làm mát khỏi giá bộ tăng tốc.

Nguồn: SK hynix Newsroom, 21/10/2026. Ảnh: SK hynix Newsroom.