[C1.S13.Ep06] Attention Mechanism & Transformer: Trái tim của Large Language Model

Từ Embedding đến Q, K, V: Ba vai trò trong cùng một token

Sau khi văn bản được token hóa và chuyển thành embedding vector, mỗi token chưa ngay lập tức tham gia vào quá trình dự đoán next-token. Trong kiến trúc Transformer, embedding ban đầu sẽ được biến đổi thông qua các phép biến đổi tuyến tính thành ba vector khác nhau: Query (Q), Key (K) và Value (V). Ba vector này không phải là ba thực thể độc lập, mà là ba “vai trò” khác nhau của cùng một token trong không gian Attention.

Về bản chất, đây là bước tái biểu diễn dữ liệu. Embedding ban đầu chứa thông tin ngữ nghĩa tổng quát, nhưng để mô hình có thể đánh giá mối quan hệ giữa các token, nó cần tách riêng chức năng “đặt câu hỏi”, “được so sánh” và “cung cấp thông tin”. Chính vì vậy:

• Query đại diện cho truy vấn mà token đang đặt ra đối với toàn bộ ngữ cảnh.

• Key đại diện cho đặc trưng nhận diện của từng token trong chuỗi.

• Value chứa nội dung thực tế sẽ được tổng hợp nếu token đó được chú ý.

Ba vector này được tạo ra thông qua các ma trận trọng số học được trong quá trình huấn luyện Deep Learning. Điều này có nghĩa là cách mô hình “đặt câu hỏi” và “đánh giá liên quan” hoàn toàn dựa trên kinh nghiệm thống kê tích lũy từ dữ liệu.

Trong Large Language Model, mỗi token đồng thời vừa là người hỏi (Query), vừa là đối tượng được so sánh (Key), vừa là nguồn thông tin (Value). Sự linh hoạt này cho phép Attention Mechanism xử lý ngữ cảnh một cách động, thay vì cứng nhắc như các mô hình tuần tự trước đây.

Tính toán Attention: Từ tương đồng đến cập nhật ngữ cảnh

Khi các vector Q, K và V đã được tạo ra, bước tiếp theo là tính toán mức độ liên quan giữa các token. Cốt lõi của Attention là phép nhân giữa Query của một token với Key của tất cả token còn lại trong cửa sổ ngữ cảnh. Kết quả là một tập điểm số thể hiện mức độ tương đồng.

Các điểm số này sau đó được chuẩn hóa bằng hàm softmax để tạo thành phân phối trọng số. Những token có mức độ liên quan cao sẽ nhận trọng số lớn hơn, trong khi token ít liên quan sẽ bị giảm ảnh hưởng. Đây chính là cơ chế giúp mô hình tập trung vào phần quan trọng của ngữ cảnh.

Cuối cùng, các trọng số attention này được nhân với vector Value tương ứng và cộng lại để tạo thành một biểu diễn mới cho token ban đầu. Nhờ vậy, mỗi token không còn giữ nguyên embedding gốc mà được cập nhật dựa trên toàn bộ chuỗi.

Điểm khác biệt quan trọng của Attention so với mô hình tuần tự là nó không bị giới hạn bởi vị trí liền kề. Một token ở đầu câu có thể trực tiếp “chú ý” đến một token ở cuối câu nếu mức độ liên quan cao. Trong AI for software engineering, điều này cho phép mô hình liên kết giữa khai báo biến ở đầu file và cách sử dụng ở cuối file, hoặc giữa một comment mô tả chức năng và phần implementation tương ứng.

Chính cơ chế này làm tăng đáng kể AI reliability trong các tác vụ yêu cầu phụ thuộc dài hạn. Tuy nhiên, cần nhấn mạnh rằng Attention chỉ phân bổ trọng số dựa trên quan hệ thống kê, không phải suy luận logic độc lập.

Multi-head Attention và chiều sâu của Transformer

Trong thực tế, Transformer không chỉ sử dụng một phép Attention duy nhất. Nó áp dụng cơ chế multi-head attention, nghĩa là nhiều bộ Q, K, V được tính toán song song. Mỗi “head” có thể học một loại quan hệ khác nhau giữa các token: quan hệ cú pháp, quan hệ ngữ nghĩa, quan hệ tham chiếu, hoặc cấu trúc logic.

Sau khi các head hoàn tất tính toán, kết quả được ghép lại và đưa qua một lớp feed-forward network để tiếp tục xử lý. Quá trình này lặp lại qua nhiều tầng, tạo thành chiều sâu của mô hình. Trong các Large Language Model hiện đại, số lượng tầng có thể rất lớn, cùng với hàng trăm tỷ tham số được học.

Multi-head attention giúp mô hình không chỉ nhìn vào một khía cạnh duy nhất của ngữ cảnh. Thay vào đó, nó có thể đồng thời đánh giá nhiều loại phụ thuộc khác nhau. Điều này đặc biệt quan trọng trong Vibe Coding, nơi một đoạn code có thể chứa cấu trúc điều kiện, vòng lặp, xử lý ngoại lệ và tương tác với API cùng lúc.

Tuy vậy, dù kiến trúc phức tạp đến đâu, mục tiêu cuối cùng của toàn bộ hệ thống vẫn là next-token prediction. Attention giúp cải thiện chất lượng phân bổ ngữ cảnh, nhưng nó không tạo ra “hiểu biết” theo nghĩa nhận thức. Nếu Prompt Engineering thiếu cấu trúc hoặc constraint không rõ ràng, Attention có thể phân bổ trọng số sai lệch, dẫn đến AI hallucination hoặc lỗi logic.

Vì vậy, hiểu cơ chế Q, K, V không chỉ giúp nắm bắt nền tảng của Transformer, mà còn giúp thiết kế AI architecture hợp lý. Khi được đặt trong một hệ thống có AI governance rõ ràng và quy trình test-driven development chặt chẽ, Attention trở thành công cụ mạnh mẽ nâng cao AI productivity mà vẫn duy trì độ tin cậy trong môi trường sản xuất.