Server AI NVIDIA DGX B300 Rack 10U | 8x GPU B300 Blackwell Ultra SXM

Giới thiệu về cụm máy chủ AI NVIDIA DGX B300

NVIDIA DGX B300 là máy chủ AI dành cho doanh nghiệp và trung tâm dữ liệu, trang bị 8 GPU NVIDIA Blackwell Ultra SXM cùng tổng bộ nhớ GPU 2,1 TB. Với hiệu năng FP4 Tensor Core lên đến 144 PFLOPS ở chế độ sparse, hệ thống cung cấp năng lực tính toán cho các tác vụ AI chuyên sâu, từ huấn luyện, tinh chỉnh đến suy luận mô hình ngôn ngữ lớn (LLM).

DGX B300 kết hợp kết nối NVLink tốc độ cao, thiết kế rack 10U và hệ sinh thái phần mềm NVIDIA, hỗ trợ triển khai và quản lý ứng dụng AI trên một nền tảng đồng bộ. Khả năng kết nối nhiều hệ thống giúp doanh nghiệp từng bước mở rộng tài nguyên tính toán theo nhu cầu phát triển.

Mức tiêu thụ điện của DGX B300 khoảng 14kW, do đó doanh nghiệp cần chuẩn bị hệ thống nguồn điện, rack và giải pháp làm mát phù hợp khi triển khai trong Data Center.

Bảng thông số kỹ thuật của NVIDIA DGX B300

Đặc điểm nổi bật của Nvidia DGX B300 mang lại khi sử dụng

8 GPU NVIDIA Blackwell Ultra SXM cho hiệu năng AI vượt trội

NVIDIA DGX B300 trang bị 8 GPU NVIDIA Blackwell Ultra SXM, cung cấp khả năng xử lý song song cho các tác vụ huấn luyện và suy luận mô hình AI lớn. Hệ thống đạt hiệu năng Tensor Core lên đến:

• FP4: 144 PFLOPS ở chế độ sparse và 108 PFLOPS ở chế độ dense.
• FP8: 72 PFLOPS ở chế độ sparse và 36 PFLOPS ở chế độ dense.

Sparse và dense tương ứng với tính toán thưa và tính toán dày đặc. Hiệu năng thực tế phụ thuộc vào mô hình, phần mềm và cấu hình triển khai.

Khả năng tính toán FP4 giúp tăng tốc suy luận AI khi mô hình và phần mềm hỗ trợ độ chính xác này, góp phần tối ưu tài nguyên xử lý. Trong khi đó, FP8 hỗ trợ các quy trình huấn luyện tương thích, cân bằng giữa tốc độ tính toán và yêu cầu về độ chính xác.

Với nền tảng Blackwell Ultra, DGX B300 phù hợp để phát triển mô hình ngôn ngữ lớn (LLM), triển khai AI tạo sinh, xử lý ngôn ngữ tự nhiên và xây dựng các ứng dụng AI doanh nghiệp.

Bộ nhớ GPU 2.1TB đáp ứng các mô hình AI khổng lồ

Một trong những điểm nổi bật nhất của DGX B300 là tổng dung lượng bộ nhớ GPU lên tới 2.1TB. Dung lượng bộ nhớ lớn cho phép hệ thống xử lý những mô hình AI chứa hàng trăm tỷ tham số, context dài và lượng dữ liệu trung gian lớn mà không phải liên tục trao đổi dữ liệu với bộ nhớ hệ thống hoặc thiết bị lưu trữ.

Điều này đặc biệt hữu ích đối với các workload AI Reasoning, nơi mô hình có thể phải thực hiện nhiều bước tính toán liên tiếp trước khi đưa ra kết quả. Không chỉ nâng cao tốc độ xử lý, bộ nhớ GPU dung lượng lớn còn giúp doanh nghiệp triển khai các mô hình AI lớn với kiến trúc đơn giản hơn và giảm những giới hạn liên quan đến tài nguyên bộ nhớ.

CPU Intel Xeon 6776P hỗ trợ xử lý và điều phối dữ liệu

NVIDIA DGX B300 sử dụng bộ xử lý Intel Xeon 6776P để tiền xử lý dữ liệu, điều phối tác vụ và cung cấp dữ liệu cho GPU. CPU phối hợp với 8 GPU Blackwell Ultra, hỗ trợ vận hành các quy trình AI từ chuẩn bị dữ liệu đến huấn luyện và triển khai mô hình.

Sự kết hợp này giúp hệ thống đáp ứng các tác vụ cần cả năng lực xử lý của CPU và khả năng tính toán song song trên GPU, phù hợp với môi trường phát triển AI trong doanh nghiệp.

NVIDIA NVLink với tổng băng thông 14,4 TB/s 

NVIDIA DGX B300 trang bị 2 hệ thống chuyển mạch NVIDIA NVLink, cung cấp tổng băng thông kết nối giữa các GPU lên đến 14,4 TB/s. Kết nối tốc độ cao này giúp tăng tốc trao đổi dữ liệu và giảm thời gian chờ khi nhiều GPU cùng xử lý một tác vụ AI.

NVLink hỗ trợ phân chia mô hình và phối hợp tính toán trên 8 GPU Blackwell Ultra, đặc biệt hữu ích khi mô hình vượt quá dung lượng bộ nhớ của một GPU. Nhờ đó, hệ thống có thể khai thác hiệu quả hơn tài nguyên GPU trong quá trình huấn luyện và suy luận, tùy thuộc vào phần mềm và cách triển khai.

Kết nối mạng tốc độ cao lên đến 800 Gb/s 

NVIDIA DGX B300 trang bị hệ thống mạng tốc độ cao, hỗ trợ kết nối nhiều máy chủ thành cụm AI và truy cập hạ tầng lưu trữ. Cấu hình gồm:

• 8 cổng OSFP phục vụ 8 bộ điều hợp NVIDIA ConnectX-8 VPI một cổng, hỗ trợ kết nối InfiniBand hoặc Ethernet lên đến 800 Gb/s.
• 2 DPU NVIDIA BlueField-3, mỗi DPU có hai cổng QSFP112, hỗ trợ kết nối InfiniBand/Ethernet lên đến 400 Gb/s.

Hạ tầng mạng này giúp tăng tốc trao đổi dữ liệu giữa các máy chủ, phục vụ huấn luyện AI phân tán và mở rộng tài nguyên tính toán theo nhu cầu.

DGX B300 còn có cổng mạng RJ45 1GbE onboard và cổng RJ45 1GbE riêng cho bộ điều khiển quản trị BMC, giúp đội ngũ IT giám sát và quản lý hệ thống từ xa.

Lưu trữ NVMe tốc độ cao với dung lượng nội bộ 30,72 TB

NVIDIA DGX B300 sử dụng ổ SSD NVMe cho cả hệ điều hành và lưu trữ nội bộ, hỗ trợ truy xuất dữ liệu nhanh trong quá trình vận hành ứng dụng AI. Cấu hình bao gồm:

• Ổ hệ điều hành: 2 ổ NVMe M.2, dung lượng 1,9 TB mỗi ổ.
• Lưu trữ nội bộ: 8 ổ NVMe E1.S, dung lượng 3,84 TB mỗi ổ, tổng dung lượng thô 30,72 TB.

Không gian lưu trữ nội bộ phục vụ bộ dữ liệu, trọng số mô hình, bản lưu trạng thái huấn luyện và dữ liệu tạm. Dung lượng sử dụng thực tế phụ thuộc vào cấu hình lưu trữ và định dạng hệ thống tệp. Tốc độ truy xuất của NVMe giúp giảm thời gian đọc, ghi dữ liệu và hạn chế tình trạng GPU phải chờ dữ liệu, góp phần nâng cao hiệu quả huấn luyện và suy luận AI.

Nền tảng xây dựng AI Factory và phát triển AI suy luận 

NVIDIA DGX B300 là một thành phần nền tảng để xây dựng AI Factory — hạ tầng tích hợp phục vụ phát triển, huấn luyện và vận hành AI ở quy mô lớn. Hệ thống hỗ trợ doanh nghiệp mở rộng năng lực tính toán cho các ứng dụng AI tạo sinh và mô hình suy luận nhiều bước.

Với hiệu năng FP4 cao, bộ nhớ GPU lớn và kết nối NVLink tốc độ cao, DGX B300 cung cấp tài nguyên để xử lý các tác vụ AI phức tạp và nhiều yêu cầu suy luận đồng thời. Tốc độ phản hồi và số lượng yêu cầu có thể phục vụ phụ thuộc vào mô hình, độ dài ngữ cảnh và cách triển khai phần mềm.

Bộ phần mềm NVIDIA AI hoàn chỉnh

NVIDIA DGX B300 kết hợp phần cứng với hệ sinh thái phần mềm hỗ trợ phát triển, triển khai và quản lý ứng dụng AI trong doanh nghiệp:

• NVIDIA AI Enterprise: cung cấp các công cụ và phần mềm hỗ trợ xây dựng, triển khai và vận hành ứng dụng AI.
• NVIDIA Mission Control: hỗ trợ vận hành hạ tầng AI, kết hợp công nghệ NVIDIA Run để quản lý tài nguyên GPU và điều phối tác vụ.
• NVIDIA DGX OS: cung cấp môi trường hệ điều hành được tối ưu cho nền tảng DGX.

Hệ thống còn hỗ trợ Red Hat Enterprise Linux, Rocky Linux và Ubuntu, giúp doanh nghiệp lựa chọn môi trường phù hợp với hạ tầng hiện có. Sự đồng bộ giữa phần cứng và phần mềm giúp đơn giản hóa việc triển khai, quản lý và mở rộng hệ thống AI.

Vì sao NVIDIA DGX B300 phù hợp để xây dựng AI Factory? 

NVIDIA DGX B300 tích hợp GPU Blackwell Ultra, CPU Intel Xeon, kết nối NVLink, mạng tốc độ cao và phần mềm NVIDIA trong một hệ thống đồng bộ. Kiến trúc này giúp doanh nghiệp giảm sự phức tạp khi lựa chọn, tích hợp và quản lý các thành phần hạ tầng AI.

Từ một hệ thống DGX B300, doanh nghiệp có thể kết nối thêm nhiều máy chủ thông qua mạng InfiniBand hoặc Ethernet để mở rộng năng lực tính toán. Khả năng này đáp ứng nhu cầu phát triển mô hình ngôn ngữ lớn, triển khai AI tạo sinh và xử lý các tác vụ suy luận nhiều bước.

Với nền tảng phần cứng và phần mềm tích hợp, NVIDIA DGX B300 phù hợp với doanh nghiệp xây dựng AI Factory hoặc hạ tầng AI riêng. Việc triển khai cần được cân đối với quy mô mô hình, ngân sách và điều kiện nguồn điện, làm mát của trung tâm dữ liệu.

Liên hệ ngay Digicon để được tư vấn cấu hình, nhận báo giá NVIDIA DGX B300 và hỗ trợ đặt hàng phù hợp với nhu cầu triển khai AI của doanh nghiệp.