CPU, GPU, NPU và “nhà máy AI”: từ chiếc laptop đến siêu máy chủ NVIDIA

Hãy tưởng tượng lớp 10A muốn tổ chức một ngày hội cho cả trường. Minh được giao điều hành, 500 bạn gấp hộp quà, còn một chiếc máy chuyên nhận diện khuôn mặt kiểm tra vé vào cửa.

Minh giống CPU. Đội gấp quà giống GPU. Máy nhận diện chuyên dụng giống NPU. Ba nhóm đều “tính toán”, nhưng được sinh ra cho những kiểu việc khác nhau.

Ba bộ xử lý không nhất thiết cạnh tranh để loại bỏ nhau. Chúng giống ba thành viên trong một đội: CPU chia việc, GPU huy động lực lượng đông, còn NPU nhận những bài AI chuyên dụng.

Một cuộc gọi video đi qua CPU, GPU và NPU ra sao?

Khi Lan nhấn nút “Bắt đầu gọi”, CPU nhận cú nhấp chuột, mở camera, kết nối mạng và điều phối dữ liệu. GPU dựng khung hình, màu sắc và những hiệu ứng cần xử lý nhiều điểm ảnh cùng lúc. NPU có thể xóa tiếng ồn, làm mờ phông nền hoặc giữ khuôn mặt ở giữa khung hình mà không làm pin tụt quá nhanh.

Vậy câu hỏi đúng không phải là “CPU, GPU hay NPU mạnh nhất?”, mà là việc này nên giao cho ai để nhanh, ít tốn điện và ít tốn tiền nhất? Một laptop tốt hay một server tốt thường là hệ thống biết phối hợp nhiều bộ phận, chứ không phải chỉ có một con chip thật lớn.

Chương 1: CPU – người tổng quản biết làm gần như mọi việc

CPU, viết đầy đủ là Central Processing Unit (bộ xử lý trung tâm), đọc lệnh, quyết định việc nào làm trước, chạy hệ điều hành, database, web server và điều phối thiết bị.

CPU thường có từ vài đến hàng trăm lõi mạnh. Mỗi lõi xử lý được nhiều loại lệnh, đổi việc nhanh và giỏi những bài toán có nhiều nhánh “nếu… thì…”. CPU giống một nhóm quản lý giỏi: không đông bằng đội công nhân, nhưng xử lý tình huống linh hoạt.

CPU phù hợp với:

• website, API, phần mềm kế toán, ERP;
• database và tìm kiếm dữ liệu;
• xử lý logic nghiệp vụ;
• điều phối GPU, lưu trữ và mạng;
• tiền xử lý dữ liệu hoặc chạy mô hình AI rất nhỏ.

CPU không lý tưởng khi: phải nhân hàng tỷ ma trận giống nhau để huấn luyện một mô hình AI lớn. Nó vẫn làm được, nhưng giống như nhờ 16 người gấp một triệu hộp quà.

Chương 2: GPU – đội quân làm việc song song

GPU ban đầu được thiết kế để vẽ hàng triệu điểm ảnh. Mỗi điểm ảnh cần những phép tính tương tự, nên GPU có rất nhiều đơn vị tính toán nhỏ cùng làm song song. Người ta sớm nhận ra mạng nơ-ron cũng chứa vô số phép nhân–cộng ma trận tương tự nhau. GPU vì thế trở thành động cơ chính của làn sóng AI.

NVIDIA gọi các khối chuyên nhân ma trận trong GPU là Tensor Cores. AMD có các khối tính ma trận trong kiến trúc CDNA. Tên khác nhau, ý tưởng gần nhau: dành phần cứng chuyên dụng cho phép toán AI.

GPU phù hợp với:

• huấn luyện mô hình AI;
• fine-tune mô hình;
• phục vụ chatbot cho nhiều người đồng thời;
• tạo ảnh, video, 3D;
• mô phỏng khoa học và kỹ thuật.

GPU không thay CPU. Trong một server AI, CPU vẫn tải dữ liệu, chạy hệ điều hành và ra lệnh; GPU làm phần tính toán nặng.

Chương 3: NPU – chuyên gia AI làm việc ít tốn pin

NPU là Neural Processing Unit: bộ xử lý được tối ưu cho mạng nơ-ron. NPU thường xuất hiện trong điện thoại, camera, ô tô và laptop AI. Nó giỏi các tác vụ suy luận lặp lại như xóa tiếng ồn, làm mờ nền, nhận diện hình ảnh, dịch trực tiếp hoặc chạy mô hình ngôn ngữ nhỏ ngay trên máy.

Nếu GPU là một nhà máy lớn, NPU giống một máy tự động chuyên dụng đặt ngay tại cửa hàng: không linh hoạt bằng cả nhà máy nhưng chạy liên tục, nhanh và tiết kiệm điện. Microsoft dùng ngưỡng hơn 40 TOPS cho nhóm Copilot+ PC; Snapdragon X từng công bố NPU 45 TOPS. Tuy nhiên TOPS không phải điểm số tuyệt đối: còn phụ thuộc kiểu số, bộ nhớ, phần mềm và mô hình có thực sự chạy được trên NPU hay không.

NPU phù hợp với:

• AI chạy tại chỗ, cần riêng tư hoặc không có Internet;
• tác vụ chạy nền lâu trên laptop và điện thoại;
• camera, giọng nói, nhận diện, mô hình nhỏ đã tối ưu;
• thiết bị biên có giới hạn pin và nhiệt.

NPU trong laptop thường không phải lựa chọn để huấn luyện mô hình lớn. Ở data center, các chip chuyên AI có thể được gọi là TPU, Trainium, Gaudi hoặc AI accelerator; về tinh thần chúng là “họ hàng” của NPU, nhưng quy mô và mục tiêu khác xa NPU trong máy cá nhân.

Một phép tính, nhiều cách đo: GHz, TOPS và FLOPS

Hãy tưởng tượng lớp học tổ chức gấp hạc giấy. Có hai câu hỏi khác nhau:

1. Cả đội phải gấp bao nhiêu con hạc? Đây là lượng công việc.

2. Mỗi giây đội gấp được bao nhiêu con? Đây là tốc độ xử lý.

Trong máy tính cũng vậy. Một phép tính là “một việc”; còn TOPS hoặc FLOPS cho biết trong một giây bộ xử lý có thể hoàn thành bao nhiêu việc thuộc một loại nhất định.

TOPS là gì?

TOPS là viết tắt của Tera Operations Per Second — nghìn tỷ phép toán mỗi giây. “Tera” là 10¹², nên về mặt tên gọi:

• 1 TOPS = 1.000.000.000.000 phép toán mỗi giây;
• 45 TOPS = tối đa khoảng 45 nghìn tỷ phép toán mỗi giây trong điều kiện đo đã quy định.

NPU trên laptop và điện thoại thường được quảng cáo bằng TOPS vì nó làm rất nhiều phép tính AI nhỏ, lặp lại, chẳng hạn nhân và cộng các số nguyên INT8. Bạn có thể hình dung NPU là chiếc máy đóng dấu: nếu mọi tờ giấy giống nhau, nó đóng cực nhanh và ít tốn điện.

Nhưng 45 TOPS không có nghĩa mọi ứng dụng AI chạy nhanh gấp đôi máy 22 TOPS. Con số thực tế còn phụ thuộc kiểu phép toán, phần mềm có dùng được NPU hay không, dữ liệu có đưa vào chip kịp không, và nhà sản xuất đang tính một phép nhân-cộng là một hay hai operation.

FLOP và FLOPS khác nhau thế nào?

• FLOP không có chữ “S” cuối: một phép toán dấu phẩy động, hoặc tổng lượng việc phải làm.
• FLOPS có chữ “S”: số phép toán dấu phẩy động làm được mỗi giây, tức tốc độ.

Dấu phẩy động là cách máy tính biểu diễn những số có phần thập phân hoặc rất lớn, rất nhỏ. Nó quan trọng trong mô phỏng khoa học, đồ họa và huấn luyện AI.

• TFLOPS = 10¹² FLOPS, tức nghìn tỷ phép toán dấu phẩy động mỗi giây.
• PFLOPS = 10¹⁵ FLOPS, tức một triệu tỷ phép toán mỗi giây.
• EFLOPS = 10¹⁸ FLOPS, tức một tỷ tỷ phép toán mỗi giây.

Hãy nhớ: nếu bài toán cần 100 nghìn tỷ FLOP và máy giữ được tốc độ thực 10 nghìn tỷ FLOPS, thời gian lý tưởng là khoảng 10 giây. Đây chỉ là phép chia minh họa; máy thật còn mất thời gian đọc bộ nhớ, liên lạc và chờ lẫn nhau.

FP32, FP16, BF16, FP8, INT8 là gì?

Đó là “kích thước chiếc hộp” dùng để chứa mỗi con số.

• FP32 giữ nhiều chi tiết hơn, thường hữu ích cho khoa học hoặc các bước cần độ chính xác cao, nhưng tốn bộ nhớ và điện hơn.
• FP16/BF16 nhẹ hơn, rất phổ biến khi huấn luyện AI.
• FP8/FP4 nhỏ hơn nữa, giúp AI chạy nhanh và chứa được mô hình lớn hơn, nhưng phải kiểm soát sai số.
• INT8/INT4 là số nguyên ít bit, thường hợp với suy luận AI đã tối ưu.

Giống ảnh độ phân giải cao và ảnh nén: ảnh nén nhẹ, gửi nhanh, nhưng không thể phóng lớn mãi mà vẫn giữ mọi chi tiết. Vì thế, câu “GPU đạt 1.000 TFLOPS” vẫn thiếu thông tin; phải hỏi ở FP32, FP16, FP8 hay FP4.

Vì sao không thể lấy TOPS chia cho TFLOPS?

TOPS là một chiếc nhãn rộng cho “operations”, thường dùng với số nguyên hoặc ma trận AI. FLOPS đếm riêng phép toán dấu phẩy động. Hai con số có thể dùng độ chính xác khác nhau và cách đếm khác nhau.

So NPU 45 TOPS INT8 với GPU 45 TFLOPS FP32 giống như so “45 nghìn phong bì đã dán mỗi giờ” với “45 nghìn bức tranh đã vẽ mỗi giờ”. Cùng có số 45 nhưng độ khó của một đơn vị công việc hoàn toàn khác.

Tốc độ “đỉnh” và tốc độ thật

Thông số TOPS/FLOPS trên bảng sản phẩm thường là peak, tức mức tối đa lý thuyết trong điều kiện phù hợp. Tốc độ ứng dụng thật thường thấp hơn vì có lúc chip phải chờ bộ nhớ, chờ mạng hoặc làm những công việc không tận dụng hết các lõi.

Có hai thước đo gần đời thực hơn:

• Throughput: tổng sản lượng, chẳng hạn server tạo được bao nhiêu token mỗi giây cho tất cả người dùng.
• Latency: độ trễ, chẳng hạn từ lúc học sinh hỏi đến lúc chữ đầu tiên xuất hiện.

Một căn-tin có thể phục vụ 1.000 suất mỗi giờ nhưng vẫn bắt mỗi học sinh chờ 20 phút. Đó là throughput cao nhưng latency chưa tốt. Chatbot tương tác cần cả hai; xử lý báo cáo ban đêm có thể ưu tiên throughput.

Bộ nhớ: mặt bàn và băng chuyền

Dung lượng bộ nhớ giống diện tích mặt bàn: bàn phải đủ rộng để đặt sách, đề và dụng cụ. Băng thông bộ nhớ giống băng chuyền đưa nguyên liệu tới người làm. Mô hình AI không vừa VRAM/HBM thì phải chia nhỏ hoặc chuyển dữ liệu qua lại; chip mạnh có thể ngồi chờ.

Vì vậy, khi đọc một máy AI, hãy đọc thành câu đầy đủ: “Nó đạt bao nhiêu TOPS hoặc FLOPS, ở kiểu dữ liệu nào, với bao nhiêu bộ nhớ, băng thông bao nhiêu, điện năng bao nhiêu và trên phần mềm nào?”

Chip nhanh chỉ phát huy sức mạnh khi dữ liệu, bộ nhớ và đường truyền theo kịp.Phóng to

Chip nhanh chỉ phát huy sức mạnh khi dữ liệu, bộ nhớ và đường truyền theo kịp.

Chương 4: Bài toán quan trọng nhất đôi khi không phải tốc độ chip, mà là bộ nhớ

Một mô hình 70 tỷ tham số nếu lưu 16 bit cần khoảng 140 GB chỉ cho trọng số; dùng 8 bit khoảng 70 GB, dùng 4 bit khoảng 35 GB, chưa tính bộ nhớ tạm và KV cache. Vì vậy câu hỏi đầu tiên không nên là “chip có bao nhiêu FLOPS?” mà là:

1. Mô hình có vừa trong VRAM/HBM không?

2. Bộ nhớ đọc dữ liệu nhanh đến đâu?

3. Nhiều GPU nói chuyện với nhau nhanh không?

4. Có bao nhiêu người dùng đồng thời và mỗi người cần phản hồi nhanh đến mức nào?

HBM là bộ nhớ băng thông cao đặt gần bộ tăng tốc. Dung lượng HBM giống diện tích bàn làm việc; băng thông giống tốc độ lấy sách từ giá. Bàn nhỏ thì mô hình không vừa. Băng thông thấp thì chip mạnh vẫn phải ngồi chờ dữ liệu.

Máy chủ AI gồm CPU, GPU, bộ nhớ, mạng, lưu trữ, điện và làm mát.Phóng to

Máy chủ AI là một hệ thống gồm CPU, GPU, bộ nhớ, mạng, lưu trữ, điện và làm mát.

Chương 5: Bản đồ sản phẩm NVIDIA – đừng nhầm chip, card, bo mạch và server

Tên sản phẩm NVIDIA thường khiến người mới rối vì có nhiều tầng:

• GPU/accelerator: H100, H200, B200, B300… là bộ tăng tốc.
• Grace Blackwell Superchip: ghép CPU Grace với GPU Blackwell bằng kết nối tốc độ cao.
• HGX: một nền tảng/bo mạch nhiều GPU để các hãng server tích hợp.
• DGX: máy chủ hoặc hệ thống hoàn chỉnh do NVIDIA đóng gói cùng phần mềm và hỗ trợ.
• NVL72: một hệ thống cấp rack có 72 GPU trong miền NVLink lớn; không phải một “card đồ họa”.
• SuperPOD: nhiều hệ thống DGX, mạng và lưu trữ hợp thành một siêu máy tính AI.

Các lựa chọn NVIDIA dễ hiểu

Theo thông số chính thức, DGX B200 là hệ thống 10U; còn DGX GB200 có 72 GPU Blackwell, 36 CPU Grace, tối đa 13,4 TB HBM3e và 576 TB/s băng thông bộ nhớ tổng. Con số này mô tả cả hệ thống, không phải một GPU. GB200 NVL72 được thiết kế để 72 GPU giao tiếp như một miền tăng tốc khổng lồ.

Chương 6: Những đối thủ cạnh tranh với NVIDIA

AMD Instinct – con đường GPU mở hơn

AMD Instinct MI350X có 288 GB HBM3E và băng thông 8 TB/s trên mỗi GPU; nền tảng 8 GPU đạt tổng 2,3 TB HBM. Điểm hấp dẫn là dung lượng bộ nhớ lớn và hệ sinh thái ROCm theo hướng mở. Điểm cần kiểm tra là thư viện, framework và đội kỹ thuật của bạn đã tương thích tốt với ROCm chưa. NVIDIA thường có lợi thế CUDA và kho phần mềm trưởng thành; AMD có thể hấp dẫn về bộ nhớ, tính mở và lựa chọn nhà cung cấp.

Intel Gaudi 3 – AI accelerator dùng Ethernet tiêu chuẩn

Gaudi 3 bản PCIe có 128 GB HBM2e, hướng tới LLM, đa phương thức và RAG. Intel nhấn mạnh kết nối Ethernet tiêu chuẩn khi mở rộng hệ thống. Nó đáng cân nhắc nếu hạ tầng và đội ngũ phù hợp, nhưng phải benchmark chính mô hình của doanh nghiệp thay vì tin một biểu đồ tổng quát.

Google TPU – “máy nhân ma trận” trong Google Cloud

TPU được Google thiết kế cho AI và cung cấp qua Google Cloud. TPU v6e Trillium có 32 GB HBM mỗi chip, 1.638 GB/s băng thông HBM và 918 TFLOPS BF16; một Pod có thể tới 256 chip. TPU hợp với đội dùng JAX/TensorFlow hoặc workload đã tối ưu cho hệ sinh thái Google. TPU7x Ironwood mới hơn có 192 GB HBM và khoảng 7,37 TB/s mỗi chip.

AWS Trainium và Inferentia – chip AI gắn với AWS

Trainium dành cho huấn luyện và inference quy mô lớn trên AWS; Inferentia tập trung inference. Trainium2 UltraServer gồm 64 chip, 6 TB HBM và 185 TB/s băng thông tổng. Trainium3 UltraServer mới hơn mở rộng tới 144 chip, 20,7 TB HBM3e. Ưu điểm là tích hợp AWS và tiềm năng tối ưu chi phí; đổi lại, phần mềm cần đi qua AWS Neuron SDK và workload gắn chặt hơn với AWS.

Chọn server phải bắt đầu từ tác vụ, quy mô mô hình và số người dùng thực tế.Phóng to

Chọn server phải bắt đầu từ tác vụ, quy mô mô hình và số người dùng thực tế.

Chương 7: Server nào dùng cho việc gì?

Đây là điểm khởi đầu, không phải báo giá cấu hình. Cùng mô hình 70B nhưng một người dùng và 1.000 người dùng là hai bài toán hoàn toàn khác.

Sáu thông số cần hỏi trước khi mua server AI

1. Dung lượng HBM/VRAM: mô hình và KV cache có vừa không?

2. Băng thông bộ nhớ: chip lấy trọng số nhanh không?

3. Hiệu năng đúng kiểu dữ liệu: BF16/FP8/FP4 hay INT8, có sparsity hay không?

4. Kết nối GPU–GPU: NVLink/NVSwitch, Infinity Fabric, ICI, NeuronLink hoặc Ethernet nhanh tới đâu?

5. Điện và làm mát: một DGX B300 được công bố khoảng 14 kW; một rack NVL72 cần hạ tầng làm mát chất lỏng phù hợp.

6. Phần mềm: CUDA, ROCm, Gaudi software, XLA hay Neuron; mô hình và thư viện của bạn có chạy ổn không?

Cách chọn không bị “ngợp thông số”

Hãy làm theo thứ tự:

1. Viết rõ tác vụ: training, fine-tune hay inference.

2. Chọn mô hình và độ chính xác: BF16, FP8, INT8 hay 4-bit.

3. Tính bộ nhớ tối thiểu.

4. Ước lượng số người dùng, token đầu vào/đầu ra và độ trễ mục tiêu.

5. Chạy benchmark nhỏ trên cloud với chính mô hình và dữ liệu gần thực tế.

6. So tổng chi phí: máy, điện, mạng, làm mát, kỹ sư, license và mức sử dụng.

Nếu chỉ thử nghiệm vài giờ mỗi tuần, thuê cloud thường an toàn hơn mua máy. Nếu tải ổn định, dữ liệu nhạy cảm và GPU chạy gần như liên tục, máy riêng có thể hợp lý. Và nếu một doanh nghiệp chỉ cần chatbot hỏi đáp tài liệu nội bộ, một rack 72 GPU không phải “xịn hơn”; nó đơn giản là sai cỡ.

Kết luận

CPU, GPU và NPU không phải ba võ sĩ tranh một chiếc cúp. Chúng là ba thành viên trong một đội:

• CPU suy nghĩ và điều phối;
• GPU huy động sức mạnh song song;
• NPU làm AI chuyên dụng với ít điện;
• bộ nhớ, mạng và phần mềm quyết định cả đội có phối hợp được hay không.

Hiểu đúng bài toán trước rồi mới nhìn tên chip. Trong thế giới AI, máy nhanh nhất không luôn là máy tốt nhất; máy tốt nhất là máy hoàn thành đúng việc với chi phí, điện năng và độ phức tạp chấp nhận được.

Nguồn kiểm chứng chính

• NVIDIA DGX B200, DGX B300, DGX GB200 và GB200 NVL72: nvidia.com/en-us/data-center
• AMD Instinct MI350 Series: amd.com/en/products/accelerators/instinct/mi350.html
• Intel Gaudi: intel.com/content/www/us/en/products/details/processors/ai-accelerators/gaudi.html
• Google Cloud TPU: docs.cloud.google.com/tpu/docs
• AWS Trainium: aws.amazon.com/ai/machine-learning/trainium
• Microsoft Copilot+ PC và NPU: learn.microsoft.com/en-us/windows/ai/npu-devices

Thông số sản phẩm được kiểm tra ngày 18/08/2026. Hiệu năng thực tế phụ thuộc mô hình, phần mềm, độ chính xác, batch size, độ dài ngữ cảnh và cấu hình hệ thống.