[C1.S7.Ep3] Kiến trúc HPC – Bên trong một siêu máy tính vận hành như thế nào?

Trong bài trước, chúng ta đã phân tích vì sao giới hạn transistor và sự chậm lại của Moore’s Law khiến việc tăng hiệu năng theo chiều dọc không còn đủ. Giải pháp không nằm ở một CPU mạnh hơn, mà ở thiết kế hệ thống. Đó chính là lúc High Performance Computing (HPC) xuất hiện như một mô hình kiến trúc hoàn chỉnh.

Nhưng một hệ thống HPC thực sự được tổ chức ra sao? Bên trong một siêu máy tính vận hành như thế nào? Để hiểu rõ bản chất của HPC architecture, chúng ta cần nhìn vào từng thành phần cấu trúc của hệ thống tính toán hiệu năng cao.

Tổng quan HPC Architecture

Một hệ thống High Performance Computing vận hành theo luồng logic rõ ràng. Người dùng kết nối vào hệ thống thông qua login node. Sau đó job được gửi tới job scheduler để phân bổ tài nguyên. Công việc được phân phối xuống các compute nodes bao gồm CPU và GPU. Các node giao tiếp thông qua high speed interconnect. Dữ liệu được đọc và ghi từ parallel storage. Kết quả cuối cùng được trả về cho người dùng.

Khác với môi trường cloud thông thường, HPC architecture được thiết kế theo mô hình tightly coupled, tối ưu độ trễ thấp và phục vụ parallel computing ở quy mô lớn. Để hiểu rõ bản chất của kiến trúc này, cần phân tích từng lớp trong chuỗi vận hành.

Luồng vận hành tổng thể trong HPC architecture

Trong một hệ thống HPC, người dùng không truy cập trực tiếp vào các compute nodes. Họ kết nối tới login node, nơi xác thực và tiếp nhận yêu cầu tính toán. Khi người dùng gửi một job, job đó không được thực thi ngay lập tức. Thay vào đó, nó được chuyển đến job scheduler để chờ phân bổ tài nguyên phù hợp.

Job scheduler đóng vai trò điều phối trung tâm trong hệ thống HPC. Nó đánh giá số lượng CPU core, GPU, bộ nhớ và tài nguyên đang khả dụng. Dựa trên chính sách phân bổ và hàng đợi, scheduler quyết định job nào được chạy trước, job nào phải chờ. Quá trình này đảm bảo tính công bằng và tối ưu hiệu năng tổng thể.

Sau khi tài nguyên được cấp phát, job được gửi tới compute nodes. Đây là nơi thực hiện tính toán thực tế. Các compute nodes có thể bao gồm nhiều CPU đa lõi và GPU phục vụ xử lý song song. Khi các node thực hiện tính toán, chúng cần trao đổi dữ liệu với nhau. Việc trao đổi này diễn ra thông qua high speed interconnect, một mạng có độ trễ rất thấp và băng thông cao.

Song song với quá trình xử lý, dữ liệu đầu vào và đầu ra được truy xuất từ parallel storage. Hệ thống lưu trữ này cho phép nhiều node đọc và ghi dữ liệu đồng thời mà không gây nghẽn. Toàn bộ chu trình từ người dùng đến kết quả tạo thành một kiến trúc khép kín, phản ánh đúng bản chất của tính toán song song trong môi trường hiệu năng cao.

Vì sao HPC architecture là hệ thống tightly coupled

Một đặc điểm cốt lõi của High Performance Computing là cấu trúc tightly coupled. Điều này có nghĩa là các thành phần trong hệ thống được liên kết chặt chẽ cả về phần cứng lẫn phần mềm. Compute nodes không hoạt động độc lập như các máy ảo trong cloud. Chúng phụ thuộc vào nhau trong quá trình xử lý dữ liệu song song.

Trong môi trường parallel computing, một bài toán lớn được chia nhỏ thành nhiều phần. Mỗi phần được giao cho một node xử lý. Tuy nhiên các phần này không tách biệt hoàn toàn. Chúng thường xuyên cần đồng bộ dữ liệu trung gian. Nếu độ trễ mạng cao, hiệu năng toàn hệ thống sẽ suy giảm nghiêm trọng. Vì vậy HPC architecture phải tối ưu cho low latency communication.

Tightly coupled cũng thể hiện ở cách quản lý tài nguyên. Job scheduler không chỉ phân bổ CPU hay GPU một cách rời rạc. Nó cấp phát tài nguyên đồng bộ theo cụm, đảm bảo các node được cấp phát cùng lúc và có khả năng giao tiếp nhanh với nhau. Điều này khác biệt rõ ràng với môi trường cloud nơi tài nguyên có thể nằm rải rác ở nhiều khu vực vật lý khác nhau.

Chính vì thiết kế tightly coupled, hệ thống tính toán hiệu năng cao đạt được khả năng mở rộng theo chiều ngang mà vẫn duy trì hiệu suất ổn định. Khi số lượng compute nodes tăng lên, hiệu năng tổng hợp có thể tăng tương ứng nếu interconnect và storage đủ mạnh. Đây là nền tảng giúp HPC architecture xử lý các workload khoa học và AI quy mô lớn.

Tối ưu độ trễ thấp và thiết kế cho parallel computing

Trong High Performance Computing, độ trễ là yếu tố quyết định. Khi hàng trăm hoặc hàng nghìn compute nodes phải trao đổi dữ liệu liên tục, chỉ một độ trễ nhỏ cũng có thể tích lũy thành tổn thất lớn. Vì vậy high speed interconnect trong HPC architecture được thiết kế để truyền dữ liệu với băng thông cao và thời gian phản hồi cực thấp.

Tối ưu độ trễ không chỉ nằm ở mạng. Nó còn liên quan đến cách tổ chức bộ nhớ và lưu trữ. Parallel storage cho phép nhiều node truy cập dữ liệu đồng thời. Nếu storage hoạt động tuần tự, toàn bộ hệ thống sẽ bị nghẽn ở tầng I O. Do đó hạ tầng tính toán trong môi trường HPC phải đảm bảo băng thông tổng hợp đủ lớn để phục vụ mọi node đang chạy song song.

Thiết kế cho parallel computing cũng yêu cầu phần mềm hỗ trợ truyền thông điệp giữa các node. Trong kiến trúc này, MPI đóng vai trò kết nối logic giữa các tiến trình chạy trên nhiều node khác nhau. MPI đảm bảo dữ liệu được gửi và nhận đúng thứ tự, đồng thời hỗ trợ đồng bộ hóa trong quá trình xử lý.

Khi kết hợp tightly coupled design, low latency communication và parallel storage, HPC architecture hình thành một nền tảng tối ưu cho các bài toán cần xử lý hiệu năng cao. Đây chính là cách một hệ thống High Performance Computing vận hành như một thực thể thống nhất thay vì tập hợp các máy tính rời rạc.

Login Node là gì trong HPC architecture

Vai trò trung tâm truy cập trong High Performance Computing

Trong một hệ thống High Performance Computing, người dùng không kết nối trực tiếp đến các compute nodes mà luôn đi qua login node. Login node là điểm vào duy nhất của toàn bộ hệ thống HPC, nơi mọi tương tác ban đầu giữa người dùng và hạ tầng tính toán diễn ra. Khi người dùng đăng nhập, hệ thống thực hiện xác thực danh tính, kiểm tra quyền truy cập và xác định tài nguyên mà người dùng được phép sử dụng. Đây là lớp kiểm soát đầu tiên giúp đảm bảo tính ổn định và an toàn cho toàn bộ kiến trúc HPC.

Login node không thực hiện xử lý hiệu năng cao hay tham gia trực tiếp vào tính toán song song. Nó đóng vai trò điều phối và kiểm tra. Người dùng có thể tải dữ liệu lên, chuẩn bị script chạy job và cấu hình tham số tài nguyên như số lõi CPU hoặc số GPU cần dùng. Tất cả các yêu cầu này được xử lý tại login node trước khi chuyển đến job scheduler. Việc tách riêng lớp truy cập khỏi lớp xử lý giúp HPC architecture duy trì hiệu suất ổn định vì compute nodes không bị gián đoạn bởi các thao tác đăng nhập hoặc quản lý người dùng. Cấu trúc này phản ánh nguyên tắc tổ chức phân tầng trong hệ thống tính toán hiệu năng cao, nơi mỗi thành phần đảm nhiệm một vai trò rõ ràng và không chồng chéo chức năng.

Cơ chế xác thực và kiểm soát tài nguyên trong hệ thống HPC

Một đặc điểm quan trọng của login node là khả năng kiểm soát tài nguyên trước khi workload được gửi đi. Trong môi trường High Performance Computing, tài nguyên như CPU, GPU và bộ nhớ đều có giá trị cao và được chia sẻ giữa nhiều người dùng. Login node tiếp nhận yêu cầu chạy job, sau đó chuyển thông tin này đến job scheduler để kiểm tra hàng đợi và mức phân bổ hiện tại. Cơ chế này đảm bảo rằng tài nguyên trong kiến trúc HPC được sử dụng theo đúng thứ tự ưu tiên và hạn mức đã cấu hình.

Login node cũng chịu trách nhiệm giám sát các thao tác chuẩn bị workload. Người dùng có thể biên dịch mã nguồn, kiểm tra dữ liệu đầu vào và cấu hình môi trường chạy trên login node trước khi chính thức gửi job. Tuy nhiên, các tác vụ tiêu tốn tài nguyên lớn không được phép thực thi tại đây. Điều này giúp bảo vệ compute nodes khỏi tình trạng quá tải do truy cập trực tiếp. Trong hạ tầng tính toán, sự phân tách giữa lớp truy cập và lớp xử lý giúp duy trì tính ổn định lâu dài, đặc biệt khi số lượng job tăng cao. Việc tổ chức như vậy là một phần cốt lõi của HPC architecture, đảm bảo rằng hệ thống có thể mở rộng theo chiều ngang mà không làm giảm hiệu năng tổng thể.

Phân biệt Login Node và Compute Node trong HPC architecture

Trong High Performance Computing, login node và compute node có chức năng hoàn toàn khác nhau. Compute node là nơi thực hiện xử lý hiệu năng cao, nơi các CPU và GPU chạy các thuật toán và thực hiện parallel computing. Ngược lại, login node chỉ đóng vai trò giao tiếp và điều phối. Việc phân tách này giúp bảo vệ hiệu suất của các compute nodes vì chúng không phải xử lý các thao tác phụ trợ như xác thực người dùng hay quản lý phiên làm việc.

Nếu compute node được ví như nhà máy sản xuất thì login node giống như phòng điều phối trung tâm. Mọi lệnh đều đi qua login node trước khi đến nhà máy. Sự phân tầng này phản ánh cách thiết kế hệ thống trong kiến trúc HPC, nơi các thành phần được tối ưu cho một nhiệm vụ duy nhất. Compute nodes tập trung tối đa vào tính toán song song, còn login node tập trung vào quản lý truy cập và chuẩn bị công việc.

Cách tổ chức này cho thấy một nguyên tắc quan trọng trong hệ thống tính toán hiệu năng cao. Hiệu năng không chỉ đến từ phần cứng mạnh mà còn đến từ cấu trúc tổ chức hợp lý. Login node đảm bảo rằng toàn bộ hệ thống vận hành có trật tự, tài nguyên được phân bổ đúng cách và không có sự xung đột giữa người dùng. Đây chính là một lớp nền tảng trong HPC architecture, giúp hệ thống duy trì hiệu suất và tính ổn định ở quy mô lớn.

Job Scheduler – Bộ não phân phối tài nguyên

Vì sao hệ thống High Performance Computing cần Job Scheduler?

Khi nhiều người dùng truy cập cùng lúc vào hệ thống HPC

Trong một môi trường High Performance Computing, người dùng không làm việc trực tiếp trên từng máy riêng lẻ mà gửi yêu cầu xử lý vào toàn bộ cụm tính toán. Mỗi yêu cầu đó được gọi là một job. Một job có thể yêu cầu số lượng lớn CPU core, nhiều GPU, dung lượng bộ nhớ cao và thời gian xử lý kéo dài. Khi số lượng job tăng lên, đặc biệt trong môi trường nghiên cứu khoa học hoặc đào tạo mô hình AI, hàng trăm thậm chí hàng nghìn yêu cầu có thể xuất hiện đồng thời trong cùng một hệ thống tính toán hiệu năng cao.

Nếu không có cơ chế điều phối trung tâm, các job sẽ cạnh tranh trực tiếp tài nguyên phần cứng. Một số compute node có thể bị quá tải trong khi node khác lại nhàn rỗi. GPU có thể bị giữ bởi các tác vụ nhỏ nhưng kéo dài, làm giảm hiệu suất tổng thể của kiến trúc HPC. Trong môi trường xử lý song song, sự mất cân bằng tài nguyên không chỉ ảnh hưởng đến một job đơn lẻ mà có thể làm chậm toàn bộ cụm tính toán. Vì vậy, nhu cầu xuất hiện một thành phần điều phối tập trung là tất yếu trong mọi HPC architecture.

Tránh xung đột tài nguyên trong parallel computing

Bản chất của tính toán song song là chia nhỏ bài toán và phân phối lên nhiều lõi xử lý. Tuy nhiên, để việc phân phối này hiệu quả, cần đảm bảo rằng mỗi job được cấp đúng số tài nguyên đã yêu cầu. Nếu hai job cùng cố gắng sử dụng một GPU hoặc một nhóm CPU core, hệ thống có thể rơi vào trạng thái tranh chấp. Điều này làm giảm hiệu năng và phá vỡ tính nhất quán của hệ thống HPC.

Job Scheduler đóng vai trò ngăn chặn xung đột này. Thay vì để người dùng trực tiếp lựa chọn node, scheduler kiểm tra trạng thái toàn bộ cụm và quyết định node nào phù hợp. Cách tiếp cận này đảm bảo compute nodes hoạt động cân bằng, không có tình trạng một node bị sử dụng vượt mức trong khi node khác chưa khai thác hết năng lực. Trong High Performance Computing, sự cân bằng này quyết định khả năng mở rộng theo chiều ngang và tối ưu tổng thể của cụm.

Tối ưu hiệu suất trong hạ tầng tính toán

Một hệ thống chỉ mạnh khi mọi thành phần phối hợp đồng bộ. Trong hạ tầng tính toán quy mô lớn, hiệu suất không chỉ phụ thuộc vào sức mạnh phần cứng mà còn phụ thuộc vào cách phân bổ tài nguyên. Nếu một job nhỏ chiếm giữ nhiều GPU hơn mức cần thiết, tài nguyên sẽ bị lãng phí. Nếu job lớn không được cấp đủ bộ nhớ, nó có thể bị dừng giữa chừng và làm gián đoạn luồng xử lý của HPC architecture.

Job Scheduler giúp hệ thống đánh giá yêu cầu của từng job và phân bổ hợp lý theo chính sách đã định. Nhờ đó, High Performance Computing có thể duy trì throughput cao và giảm thời gian chờ trong hàng đợi. Đây chính là lý do scheduler được xem là bộ não điều phối của toàn bộ cụm.

Vai trò của Job Scheduler trong HPC architecture

Phân bổ CPU và GPU trong compute nodes

Trong một cụm High Performance Computing, mỗi compute node có cấu hình khác nhau về số lõi CPU và số lượng GPU. Job Scheduler tiếp nhận yêu cầu từ người dùng và ánh xạ yêu cầu đó vào tài nguyên thực tế. Nếu job yêu cầu tám CPU core và hai GPU, scheduler sẽ tìm node phù hợp đáp ứng đủ điều kiện này trong toàn bộ kiến trúc HPC.

Việc phân bổ không chỉ đơn thuần là gán tài nguyên. Scheduler còn phải đảm bảo rằng tài nguyên được cấp trong cùng một node hoặc nhóm node liên kết tốt với nhau thông qua high speed interconnect. Điều này giúp duy trì hiệu quả của parallel computing và tránh phát sinh độ trễ không cần thiết. Nhờ vậy, compute nodes hoạt động như một thực thể thống nhất thay vì những máy rời rạc.

Quản lý bộ nhớ và hàng đợi trong hệ thống tính toán hiệu năng cao

Ngoài CPU và GPU, bộ nhớ đóng vai trò quan trọng trong High Performance Computing. Một job có thể yêu cầu dung lượng RAM lớn để xử lý tập dữ liệu lớn. Job Scheduler kiểm tra mức sử dụng bộ nhớ trên từng compute node trước khi phân bổ. Nếu bộ nhớ không đủ, job sẽ được đưa vào hàng đợi thay vì chạy ngay lập tức.

Cơ chế hàng đợi giúp hệ thống HPC duy trì trật tự và công bằng. Các job được sắp xếp theo chính sách ưu tiên hoặc theo thời điểm gửi. Khi tài nguyên trở nên khả dụng, scheduler kích hoạt job tiếp theo trong queue. Cách tổ chức này đảm bảo cụm tính toán không rơi vào trạng thái hỗn loạn và luôn vận hành theo nguyên tắc tối ưu hóa tài nguyên trong HPC architecture.

Theo dõi và giám sát trạng thái job trong kiến trúc HPC

Một chức năng quan trọng khác của Job Scheduler là giám sát vòng đời của job. Sau khi job được khởi chạy trên compute nodes, scheduler tiếp tục theo dõi trạng thái thực thi. Nếu job hoàn thành, tài nguyên được giải phóng và trả lại cho cụm. Nếu job gặp lỗi, scheduler ghi nhận trạng thái và có thể đưa job trở lại hàng đợi tùy theo cấu hình hệ thống.

Trong môi trường High Performance Computing, khả năng theo dõi liên tục này giúp đảm bảo tính ổn định và độ tin cậy của toàn bộ cụm. Scheduler không chỉ phân phối mà còn duy trì nhịp hoạt động ổn định của hệ thống tính toán hiệu năng cao. Chính vì vậy, trong mọi HPC architecture, job scheduler không đơn thuần là một phần mềm quản lý mà là lớp điều phối chiến lược bảo đảm hiệu năng, công bằng và khả năng mở rộng của toàn bộ hệ thống.

Compute Nodes – Trái tim của hệ thống HPC

Compute Node là gì trong HPC architecture

Vai trò của compute node trong hệ thống High Performance Computing

Trong một hệ thống High Performance Computing, compute node là nơi diễn ra toàn bộ quá trình xử lý thực tế. Nếu login node đóng vai trò cổng truy cập và job scheduler điều phối tài nguyên, thì compute node chính là khu vực thực thi các phép tính trong hệ thống tính toán hiệu năng cao. Mỗi compute node được thiết kế để tham gia vào tính toán song song, nghĩa là nhiều node cùng xử lý các phần khác nhau của một bài toán lớn.

Khi người dùng gửi một job vào hệ thống, job scheduler phân tích yêu cầu về CPU, GPU và bộ nhớ. Sau đó, scheduler phân bổ công việc tới một hoặc nhiều compute node. Mỗi node sẽ nhận một phần workload và xử lý đồng thời với các node khác. Đây là nguyên lý cốt lõi của parallel computing trong môi trường HPC.

Điểm quan trọng nằm ở việc compute node không hoạt động độc lập. Các node liên tục trao đổi dữ liệu thông qua mạng tốc độ cao. Điều này giúp toàn bộ cụm hoạt động như một thực thể thống nhất thay vì nhiều máy rời rạc. Nhờ vậy, HPC architecture có thể mở rộng theo chiều ngang và đạt hiệu năng vượt xa một máy đơn lẻ.

Thành phần bên trong một compute node

Một compute node trong kiến trúc HPC thường bao gồm các thành phần sau.

Thứ nhất là multi core CPU, ví dụ như dòng Xeon hoặc EPYC. CPU đảm nhiệm điều phối luồng xử lý, thực hiện các tác vụ logic, xử lý I O và phối hợp dữ liệu giữa bộ nhớ và GPU. Trong môi trường hạ tầng tính toán, CPU đóng vai trò nền tảng đảm bảo hệ thống vận hành ổn định.

Thứ hai là GPU, chẳng hạn như A100 hoặc H100. GPU được tối ưu cho khối lượng tính toán song song rất lớn, đặc biệt là các phép toán ma trận. Trong các workload đòi hỏi thông lượng cao, GPU là thành phần tạo ra phần lớn sức mạnh xử lý của hệ thống HPC.

Thứ ba là RAM dung lượng lớn. Bộ nhớ lớn cho phép compute node giữ dữ liệu tạm thời và giảm số lần truy xuất tới storage. Điều này đặc biệt quan trọng trong môi trường xử lý hiệu năng cao, nơi độ trễ bộ nhớ có thể trở thành điểm nghẽn.

Cuối cùng là local storage tạm thời. Storage cục bộ giúp node lưu trữ dữ liệu trung gian trong quá trình thực thi, hỗ trợ quá trình đọc ghi nhanh trước khi dữ liệu được ghi về hệ thống lưu trữ song song.

Compute node trong bối cảnh mở rộng theo chiều ngang

Trong môi trường HPC architecture, hiệu năng không phụ thuộc vào một node duy nhất mà phụ thuộc vào tổng hợp nhiều node. Khi workload tăng, hệ thống có thể bổ sung thêm compute node để duy trì hiệu suất. Đây là nguyên lý mở rộng theo chiều ngang trong hệ thống tính toán hiệu năng cao.

Mỗi compute node xử lý một phần của bài toán. Khi các node phối hợp nhịp nhàng, tổng công suất xử lý tăng theo số lượng node. Điều này cho phép hệ thống giải quyết các bài toán lớn vượt xa khả năng của một CPU đơn lẻ.

Sự phối hợp này yêu cầu cơ chế giao tiếp hiệu quả và đồng bộ hóa chính xác. Vì vậy, compute node chỉ thực sự phát huy hiệu quả khi được đặt trong một HPC architecture hoàn chỉnh bao gồm scheduler, interconnect và storage song song. Đây là nền tảng của mọi hệ thống tính toán song song hiện đại.

CPU GPU Ratio trong HPC architecture

Ý nghĩa của tỷ lệ CPU GPU trong hệ thống HPC

Trong một High Performance Computing, việc xác định tỷ lệ CPU so với GPU không mang tính ngẫu nhiên. Tỷ lệ này phản ánh cách hệ thống phân bổ vai trò giữa điều phối và xử lý song song.

CPU chịu trách nhiệm orchestration, quản lý bộ nhớ, xử lý I O và điều phối luồng dữ liệu. GPU đảm nhiệm khối lượng lớn phép tính song song. Nếu thiếu CPU, GPU có thể không được cung cấp dữ liệu kịp thời. Nếu thiếu GPU, hệ thống không khai thác được lợi thế của parallel computing.

Vì vậy, trong kiến trúc HPC, tỷ lệ CPU GPU được thiết kế dựa trên đặc điểm workload. Điều này giúp hệ thống đạt hiệu quả tối đa trong môi trường xử lý hiệu năng cao.

Tỷ lệ CPU GPU theo từng loại workload

Trong môi trường general purpose HPC, tỷ lệ CPU GPU thường nằm trong khoảng 8 trên 1 đến 16 trên 1. Điều này đảm bảo sự cân bằng giữa logic và xử lý song song trong hạ tầng tính toán.

Đối với AI training cluster, tỷ lệ thường là 4 trên 1 đến 8 trên 1. GPU chiếm vai trò trung tâm vì workload tập trung vào phép toán ma trận. CPU chủ yếu thực hiện điều phối và chuẩn bị dữ liệu. Đây là cấu hình phổ biến trong AI infrastructure.

Trong scientific simulation, tỷ lệ có thể lên đến 16 trên 1 hoặc 32 trên 1. Các mô phỏng phức tạp cần nhiều core CPU để tiền xử lý và hậu xử lý dữ liệu trong môi trường hệ thống HPC. Đối với inference cluster, tỷ lệ có thể thấp hơn, khoảng 2 trên 1 đến 4 trên 1. GPU xử lý phần lớn phép tính, còn CPU đảm bảo luồng dữ liệu ổn định trong tính toán song song.

CPU GPU ratio trong đào tạo mô hình AI và LLM training

Trong bối cảnh đào tạo mô hình AI quy mô lớn, GPU cluster trở thành trung tâm của High Performance Computing. Các mô hình có số lượng tham số rất lớn đòi hỏi hàng chục hoặc hàng trăm GPU hoạt động đồng thời.

CPU trong trường hợp này đảm nhiệm vai trò quản lý bộ nhớ, phân bổ batch dữ liệu và điều phối tiến trình giữa các GPU. GPU thực hiện phần lớn phép toán liên quan đến ma trận và lan truyền ngược. Sự phối hợp này tạo nên hiệu suất tối ưu trong HPC architecture. Nếu tỷ lệ CPU GPU không hợp lý, hệ thống có thể rơi vào tình trạng nghẽn cổ chai. Vì vậy, việc thiết kế đúng tỷ lệ không chỉ là vấn đề phần cứng mà là quyết định kiến trúc trong hệ thống tính toán hiệu năng cao.

Trong kỷ nguyên hậu Moore’s Law, hiệu năng không còn phụ thuộc vào một chip đơn lẻ mà phụ thuộc vào cách chúng ta tổ chức CPU và GPU trong một hạ tầng tính toán song song.

High-Speed Interconnect – Huyết mạch của HPC

Vấn đề nếu dùng mạng thường

Parallel Storage – Lưu trữ ở quy mô petabyte

Tại sao storage quan trọng trong HPC architecture

Quy mô dữ liệu ở mức petabyte trong hệ thống tính toán hiệu năng cao

Trong một hệ thống High Performance Computing, dữ liệu không còn ở mức gigabyte hay terabyte như môi trường desktop thông thường. Các workload khoa học, mô phỏng kỹ thuật và đào tạo mô hình AI có thể tạo ra dataset ở mức petabyte. Khi quy mô dữ liệu đạt đến mức này, bản thân hệ thống lưu trữ trở thành một thành phần cốt lõi của HPC architecture chứ không còn là phần phụ trợ.

Trong hệ thống tính toán hiệu năng cao, compute nodes có thể xử lý dữ liệu rất nhanh nhờ CPU đa lõi và GPU chuyên dụng. Tuy nhiên, nếu dữ liệu không được cung cấp kịp thời từ storage, các compute nodes sẽ phải chờ I O. Khi đó, tài nguyên xử lý mạnh mẽ của hệ thống HPC bị lãng phí do không có đủ băng thông đọc ghi.

Dung lượng lớn không phải là yếu tố duy nhất. Vấn đề nằm ở khả năng cung cấp dữ liệu liên tục cho hàng trăm hoặc hàng nghìn tiến trình đang chạy song song. Nếu chỉ sử dụng storage đơn lẻ theo mô hình truyền thống, tốc độ đọc ghi sẽ không theo kịp tốc độ xử lý của compute nodes. Điều này làm giảm hiệu quả của tính toán song song và làm suy yếu toàn bộ kiến trúc.

Vì vậy, trong HPC architecture, storage phải được thiết kế để đáp ứng cả hai yêu cầu là dung lượng cực lớn và băng thông cực cao. Khi dataset đạt đến hàng petabyte, khả năng mở rộng và phân phối dữ liệu trở thành yếu tố sống còn của hệ thống.

Hàng nghìn compute nodes truy cập đồng thời và áp lực I O

Một đặc điểm quan trọng của kiến trúc HPC là khả năng cho phép nhiều compute nodes hoạt động cùng lúc. Trong các bài toán song song, dữ liệu đầu vào có thể được chia nhỏ và phân phối tới nhiều node. Sau khi xử lý, kết quả lại được ghi trở về hệ thống lưu trữ. Quá trình này diễn ra liên tục và đồng thời trên quy mô lớn.

Khi hàng nghìn compute nodes thực hiện đọc và ghi cùng lúc, storage phải xử lý số lượng yêu cầu I O cực lớn. Nếu hệ thống lưu trữ chỉ được thiết kế theo mô hình tập trung đơn điểm, băng thông sẽ nhanh chóng đạt ngưỡng giới hạn. Lúc đó, I O trở thành điểm nghẽn trong hạ tầng tính toán.

Trong môi trường parallel computing, tốc độ của toàn bộ hệ thống thường bị giới hạn bởi thành phần chậm nhất. Nếu storage không đáp ứng được tốc độ truy xuất, các tiến trình trên compute nodes sẽ bị chậm lại dù CPU và GPU vẫn còn tài nguyên. Đây chính là hiện tượng I O bottleneck trong High Performance Computing.

Vì lý do đó, storage trong HPC architecture phải cho phép nhiều node truy cập đồng thời mà không gây tranh chấp tài nguyên. Điều này đòi hỏi cơ chế phân tán dữ liệu và khả năng tổng hợp băng thông từ nhiều thiết bị lưu trữ. Khi thiết kế đúng cách, hệ thống có thể duy trì hiệu năng ổn định ngay cả khi số lượng job tăng mạnh.

Throughput tổng hợp và mối liên hệ với hiệu năng hệ thống

Trong hệ thống HPC, hiệu năng không chỉ được đo bằng số FLOPS của CPU hay GPU. Một yếu tố quan trọng khác là throughput của storage. Throughput ở đây là tổng băng thông đọc ghi mà toàn bộ hệ thống có thể đạt được khi nhiều node hoạt động đồng thời.

Nếu mỗi compute node yêu cầu một mức băng thông nhất định và có hàng trăm node chạy song song, tổng nhu cầu băng thông sẽ tăng theo cấp số nhân. Nếu storage chỉ có khả năng cung cấp băng thông giới hạn, toàn bộ HPC architecture sẽ không đạt được hiệu năng thiết kế ban đầu.

Trong các workload như mô phỏng khoa học hoặc đào tạo mô hình AI, dữ liệu liên tục được đọc và ghi theo chu kỳ. Điều này tạo ra áp lực I O kéo dài. Khi throughput storage đủ lớn, compute nodes có thể duy trì trạng thái hoạt động liên tục. Khi throughput không đủ, hệ thống xuất hiện thời gian chờ, làm giảm hiệu quả của xử lý hiệu năng cao.

Vì vậy, storage trong High Performance Computing không thể được xem là thành phần phụ. Nó phải được thiết kế song song với compute nodes và interconnect để đảm bảo toàn bộ kiến trúc HPC vận hành cân bằng. Khi throughput tổng hợp được tối ưu, hệ thống mới có thể khai thác tối đa năng lực của tính toán song song.

MPI – Giao thức của tính toán song song

HPC Architecture vs Cloud Architecture

Cloud Architecture

Virtualized Infrastructure và High Abstraction

Trong mô hình cloud computing, hạ tầng được xây dựng trên nền tảng ảo hóa. Tài nguyên phần cứng như CPU, GPU, bộ nhớ và lưu trữ không được cấp phát trực tiếp cho người dùng mà được trừu tượng hóa thông qua hypervisor hoặc container. Điều này tạo ra một lớp trung gian giữa người dùng và phần cứng vật lý. Người dùng chỉ nhìn thấy máy ảo hoặc container thay vì hệ thống phần cứng thực tế phía sau.

Cách tiếp cận này giúp cloud dễ triển khai, dễ mở rộng và phù hợp với nhiều loại workload khác nhau. Tuy nhiên, trong bối cảnh HPC architecture, lớp ảo hóa này có thể tạo thêm độ trễ vì dữ liệu phải đi qua nhiều tầng phần mềm trước khi đến phần cứng thực tế. Khi workload yêu cầu tính toán song song ở mức độ cao và giao tiếp liên tục giữa các node, mỗi lớp trừu tượng đều làm tăng latency.

Cloud tối ưu cho tính linh hoạt và quản trị đơn giản. Tài nguyên có thể được tạo mới, mở rộng hoặc thu hẹp theo nhu cầu. Điều này phù hợp với ứng dụng web, hệ thống doanh nghiệp và các workload không yêu cầu giao tiếp node to node ở độ trễ cực thấp. Tuy nhiên, khi so với hệ thống HPC, kiến trúc cloud không được thiết kế cho môi trường tightly coupled nơi các node phải đồng bộ hóa liên tục.

Trong cloud, mục tiêu là đa dụng và linh hoạt. Trong High Performance Computing, mục tiêu là hiệu năng tối đa và độ trễ thấp. Hai triết lý thiết kế này khác nhau ngay từ tầng hạ tầng.

Elastic Scalability và Resource Abstraction

Một đặc điểm quan trọng của cloud là khả năng mở rộng linh hoạt. Người dùng có thể tăng hoặc giảm số lượng máy ảo tùy theo nhu cầu thực tế. Tính elastic này giúp doanh nghiệp tối ưu chi phí và tránh đầu tư lớn ban đầu.

Tuy nhiên, elastic scaling trong cloud thường dựa trên các instance độc lập. Các instance này không phải lúc nào cũng được kết nối bằng mạng tốc độ siêu cao như trong HPC architecture. Khi workload yêu cầu truyền dữ liệu lớn giữa các node với độ trễ cực thấp, mô hình cloud có thể gặp hạn chế.

Trong môi trường parallel computing, các node cần giao tiếp liên tục và đồng bộ hóa dữ liệu thông qua cơ chế như MPI. Nếu hạ tầng không được tối ưu cho giao tiếp tốc độ cao, hiệu năng tổng thể sẽ bị ảnh hưởng. Cloud ưu tiên khả năng phục vụ đa khách hàng và đa ứng dụng, trong khi hệ thống tính toán hiệu năng cao ưu tiên tối ưu hóa cho một loại workload cụ thể.

Cloud phù hợp với ứng dụng tổng quát, môi trường phát triển và lưu trữ dữ liệu. Ngược lại, khi cần thực hiện mô phỏng khoa học, huấn luyện mô hình AI quy mô lớn hoặc workload đòi hỏi xử lý hiệu năng cao, kiến trúc cloud tiêu chuẩn không phải lúc nào cũng là lựa chọn tối ưu.

HPC Architecture

Bare Metal và Low Latency Design

Khác với cloud, HPC architecture thường triển khai trên hạ tầng bare metal. Điều này có nghĩa là compute nodes truy cập trực tiếp vào phần cứng mà không thông qua lớp ảo hóa trung gian. CPU, GPU và bộ nhớ được cấp phát trực tiếp cho job cụ thể thông qua job scheduler.

Thiết kế này giúp giảm độ trễ và tối đa hóa hiệu năng. Trong môi trường High Performance Computing, độ trễ mạng và băng thông giữa các node có ảnh hưởng trực tiếp đến tốc độ hoàn thành workload. Khi nhiều compute nodes cùng xử lý một bài toán và cần trao đổi dữ liệu liên tục, bất kỳ độ trễ nào cũng có thể trở thành bottleneck.

Vì vậy, hệ thống HPC sử dụng high speed interconnect như InfiniBand để đảm bảo giao tiếp tốc độ cao. Đây là yếu tố cốt lõi giúp kiến trúc HPC đạt hiệu năng vượt trội so với hệ thống thông thường.

Thiết kế bare metal không ưu tiên tính linh hoạt mà ưu tiên sự ổn định và hiệu năng. Điều này phù hợp với workload dài hạn và compute intensive như mô phỏng, xử lý dữ liệu lớn và đào tạo mô hình AI trong môi trường AI infrastructure.

Tightly Coupled System và Compute Intensive Optimization

Trong hệ thống HPC, các compute nodes không hoạt động độc lập như trong cloud. Chúng được kết nối chặt chẽ thành một cụm thống nhất. Job scheduler phân bổ tài nguyên, MPI điều phối giao tiếp và parallel storage đảm bảo dữ liệu được truy cập đồng thời bởi nhiều node.

Tính tightly coupled cho phép các node hoạt động như một hệ thống duy nhất thay vì nhiều máy tách rời. Đây là nền tảng của tính toán song song quy mô lớn. Khi một bài toán được chia thành nhiều phần nhỏ, mỗi phần được xử lý trên một compute node và sau đó kết quả được tổng hợp lại.

Kiến trúc này đặc biệt quan trọng trong bối cảnh hậu Moore’s Law, khi hiệu năng không còn tăng mạnh nhờ transistor mà nhờ vào mở rộng theo chiều ngang. Thay vì làm một CPU mạnh hơn, hệ thống HPC kết nối nhiều CPU và GPU thành một cụm để đạt hiệu năng tổng hợp cao hơn.

So với cloud, HPC architecture được tối ưu cho compute intensive workload. Mục tiêu không phải là phục vụ nhiều ứng dụng đa dạng, mà là đạt hiệu suất tối đa cho bài toán lớn. Chính sự tập trung này giúp hệ thống tính toán hiệu năng cao trở thành nền tảng của đào tạo mô hình AI, mô phỏng khoa học và các ứng dụng đòi hỏi năng lực xử lý vượt trội.

Hybrid HPC: Kết hợp Elastic Cloud và Hiệu năng HPC

Trong thực tế, nhiều tổ chức triển khai mô hình hybrid kết hợp cloud và High Performance Computing. Mô hình này cho phép workload thông thường chạy trên cloud, trong khi workload compute intensive được chuyển sang cụm HPC architecture chuyên dụng.

Cách tiếp cận này tận dụng tính elastic của cloud và hiệu năng của hệ thống HPC. Khi nhu cầu tăng đột biến, cloud có thể cung cấp tài nguyên bổ sung. Khi cần xử lý bài toán lớn yêu cầu độ trễ thấp và giao tiếp song song chặt chẽ, cụm HPC đảm nhận vai trò chính.

Hybrid không thay thế kiến trúc HPC mà mở rộng khả năng triển khai của nó. Trong bối cảnh AI infrastructure ngày càng phát triển, mô hình này giúp cân bằng giữa chi phí, linh hoạt và hiệu năng.

Sự khác biệt giữa cloud và HPC không nằm ở việc cái nào tốt hơn, mà nằm ở mục tiêu thiết kế. Cloud tối ưu cho tính linh hoạt và đa dụng. HPC tối ưu cho hiệu năng tối đa và parallel computing quy mô lớn. Hybrid là cách kết nối hai triết lý này trong cùng một hệ sinh thái công nghệ.

Tại sao HPC Architecture là nền tảng của AI hiện đại?

Kết luận

High Performance Computing không đơn thuần là câu chuyện về phần cứng mạnh hơn hay nhiều GPU hơn. Bản chất của nó nằm ở cách chúng ta thiết kế và tổ chức toàn bộ hệ thống: từ cấu trúc compute nodes, cơ chế điều phối của job scheduler, tỷ lệ CPU–GPU hợp lý, cho đến mạng kết nối độ trễ thấp và hệ thống lưu trữ song song có băng thông cực lớn. Chính sự phối hợp chặt chẽ giữa các lớp kiến trúc này mới tạo ra một hệ thống tính toán hiệu năng cao thực sự.

Trong bối cảnh transistor tiến sát giới hạn vật lý và Moore’s Law không còn tăng trưởng theo cấp số nhân, lợi thế cạnh tranh không còn nằm ở việc làm một con chip nhanh hơn, mà ở việc xây dựng một kiến trúc HPC tối ưu hơn. HPC architecture vì thế không chỉ là giải pháp kỹ thuật, mà là tư duy thiết kế hệ thống của thời hậu Moore’s Law.

Và cũng chính tư duy đó đang trở thành nền móng cho hạ tầng AI hiện đại – nơi các mô hình lớn, dữ liệu lớn và yêu cầu tính toán khổng lồ chỉ có thể vận hành hiệu quả khi được đặt trên một kiến trúc song song được tổ chức chặt chẽ và thông minh.

Danh mục bài viết cùng chuyên đề

1. [C1.S7.Ep1] 3 lý do cốt lõi khiến High Performance Computing trở thành tất yếu khi Moore’s Law chậm lại
2. [C1.S7.Ep2] High Performance Computing (HPC) là gì và vì sao nó trở thành tất yếu?
3. [C1.S7.Ep3] Kiến trúc HPC – Bên trong một siêu máy tính vận hành như thế nào?