Đầu tiên được giới thiệu vào tháng 6 và chính thức ra mắt vào ngày 6 tháng 12 tại sự kiện Advancing AI ở San Jose, California, Instinct MI300X nhắm đến các hệ thống đào tạo AI. Trong sự kiện, AMD đã gọi mẫu chip của Nvidia là đối thủ cạnh tranh chính.
MI300X được coi là đỉnh cao trong phương pháp thiết kế chiplet mới nhất của AMD dành cho các bộ xử lý đồ họa (GPU), kết hợp 8 ngăn xếp bộ nhớ HBM3 12Hi với 8 chiplet GPU 5nm CDNA 3 xếp chồng lên nhau. 3D, có tên là XCD. Công nghệ lai này được AMD gọi là 3.5D, với sự kết hợp giữa 3D và 2.5D. Kết quả là một con chip mới có công suất 750 W, sử dụng 304 đơn vị tính toán, dung lượng HBM3 là 192 GB và đạt băng thông 5,3 TB/s.
Bên trong MI300X được thiết kế để hoạt động theo nhóm với tổng cộng 8 phân vùng xử lý riêng biệt. Thông qua kết nối Infinity Fabric, các vùng này sẽ liên lạc với nhau ở băng thông 896 GB/s. Toàn bộ điều này mang lại hiệu suất 10,4 Petaflops (triệu tỷ thao tác mỗi giây).
Giám đốc điều hành AMD Lisa Su công bố thông số kỹ thuật của MI300X và so sánh nó với Nvidia H100 trên các mẫu LLM hàng đầu. Hình chụp: wccftech
Theo công bố của AMD, MI300X có dung lượng bộ nhớ lớn hơn 2,4 lần và lợi thế về sức mạnh tính toán gấp 1,3 lần so với nền tảng H100 – chip AI thường được sử dụng trong các ứng dụng AI. được tạo gần đây, bao gồm cả GPT-4 của OpenAI. Dung lượng bộ nhớ lớn sẽ giúp tăng hiệu suất tính toán nhờ xử lý được nhiều dữ liệu hơn cùng lúc.
Khi thử nghiệm với các mô hình ngôn ngữ lớn, MI300X vượt trội so với đối thủ đến từ Nvidia. Với Llama 2 70B (70 tỷ thông số) và FlashAttention 2, chip AMD nhanh hơn 20% khi so sánh 1v1. Khi kết hợp với 8v8 (8v8 Server), MI300X mạnh hơn H100 40% khi chạy trên Llama 2 70B và lên tới 60% khi chạy trên Bloom 176B (176 tỷ thông số).
Chip AMD Instinct MI300X. Hình chụp: AMD
AMD nhấn mạnh MI300X ngang bằng với H100 về hiệu năng luyện tập nhưng có giá cạnh tranh hơn khi so sánh cùng khối lượng công việc. Tuy nhiên, hãng vẫn chưa công bố giá bán chính thức của sản phẩm.
Mặc dù có thông số kỹ thuật mạnh mẽ nhưng MI300X không phải là GPU mạnh nhất. Giữa tháng 11, Nvidia công bố H200 mới nhất với hiệu năng gần gấp đôi của H100 .
Bên cạnh Instinct MI300X, AMD cũng giới thiệu Instinct MI300A, bộ xử lý APU (Accelerated Treatment Unit) dành cho trung tâm dữ liệu đầu tiên trên thế giới. Con chip này cũng sử dụng kỹ thuật đóng gói 3.5D do TSMC triển khai tương tự MI300X, kết hợp hai tiến trình 5 nm và 6 nm với 13 chiplets xếp chồng lên nhau, tạo ra một con chip có 24 lõi chứa 53 tỷ bóng bán dẫn. Đây cũng là con chip lớn nhất mà AMD từng sản xuất. Hãng chưa công bố giá sản phẩm.
Giám đốc điều hành AMD Lisa Su cho biết: “Tất cả sự chú ý đều tập trung vào chip AI”. “Những gì chip của chúng tôi mang lại sẽ trực tiếp mang lại trải nghiệm tốt hơn cho người dùng. Khi bạn hỏi điều gì đó, câu trả lời sẽ xuất hiện nhanh hơn, đặc biệt khi câu trả lời trở nên phức tạp hơn”.
Trong khi đó, Meta và Microsoft cho biết họ sẽ mua Instinct MI300X để thay thế chip Nvidia. Đại diện Meta cho biết họ sẽ trang bị MI300X cho các hệ thống suy luận trí tuệ nhân tạo như xử lý nhãn dán AI, chỉnh sửa hình ảnh và vận hành trợ lý ảo. Và Kevin Scott, CTO của Microsoft, cho biết ông sẽ sử dụng chip AMD cho máy chủ đám mây Azure. OpenAI cũng sẽ sử dụng MI300X cho hệ thống xử lý phần mềm có tên Triton, một mô hình được sử dụng trong nghiên cứu AI.
AMD dự đoán tổng doanh thu GPU trung tâm dữ liệu của họ sẽ đạt khoảng $2 tỷ vào năm 2024. Công ty cũng ước tính tổng giá trị thị trường GPU AI có thể tăng lên $400 tỷ trong 4 năm tới. Bà Su nói thêm: “Nvidia sẽ chiếm được miếng bánh lớn nhưng chúng tôi cũng sẽ nhận được phần chia công bằng.
Bảo Lâm (dựa theo Wccftech, Toms Phần cứng )
VI 
EN
Trả lời
Bạn phải đăng nhập để gửi phản hồi.