Để triển khai Vibe Coding một cách có kỷ luật, không thể chỉ dừng ở trải nghiệm “AI viết code rất nhanh”. Muốn kiểm soát AI reliability, thiết kế đúng AI architecture và giảm thiểu AI hallucination, trước hết phải hiểu Large Language Model thực sự vận hành như thế nào ở tầng nền tảng.
LLM không “hiểu” theo nghĩa nhận thức của con người. Nó là một hệ thống Deep Learning quy mô cực lớn, được xây dựng trên kiến trúc Transformer và vận hành thông qua Attention Mechanism cùng cơ chế next-token prediction. Mọi phản hồi mà chúng ta nhận được - từ một đoạn văn cho đến hàng trăm dòng code - đều là kết quả của chuỗi phép tính xác suất phức tạp trên không gian vector nhiều chiều.
Quá trình đó bắt đầu từ việc chuyển đổi ngôn ngữ thành dữ liệu số, sau đó biểu diễn chúng trong không gian embedding, xử lý trong một cửa sổ ngữ cảnh hữu hạn và bổ sung thông tin vị trí để duy trì cấu trúc. Chính các bước nền tảng này quyết định cách Generative AI “nhìn” thế giới và phản hồi lại con người. Hiểu rõ chúng là điều kiện tiên quyết để Vibe Coding không trở thành thử nghiệm ngẫu hứng, mà trở thành một phương pháp AI for software engineering có kiểm soát.
Tokenization: Khi ngôn ngữ trở thành dữ liệu số
Từ văn bản tự nhiên đến chuỗi token
Large Language Model không xử lý ngôn ngữ như con người. Nó không “hiểu” chữ, mà xử lý chuỗi số. Vì vậy, trước khi Transformer và Attention Mechanism bắt đầu hoạt động, văn bản phải được chuyển thành các đơn vị nhỏ hơn gọi là token.
Tokenization là bước chuyển đổi nền tảng trong toàn bộ AI architecture. Một token có thể là:
Một từ hoàn chỉnh
Một phần của từ
Dấu câu hoặc ký tự đặc biệt
Khoảng trắng
Các LLM hiện đại thường sử dụng các thuật toán như Byte Pair Encoding để xây dựng vocabulary gồm hàng chục nghìn token. Cách một câu được chia nhỏ phụ thuộc vào tokenizer của từng mô hình, vì vậy cùng một văn bản có thể được biểu diễn khác nhau giữa các hệ thống Generative AI.
Tokenization không phải bước kỹ thuật trung tính. Nó quyết định cách mô hình “nhìn” văn bản ngay từ đầu. Nếu một khái niệm bị chia thành nhiều token nhỏ, embedding phía sau sẽ khác, Attention Mechanism sẽ phân bổ trọng số khác, và cuối cùng next-token prediction cũng thay đổi.
Trong AI for software engineering, điều này đặc biệt quan trọng vì tên biến, cấu trúc hàm và cú pháp code đều bị token hóa. Hiểu bước này giúp ta nhận thức rằng mọi prompt trong Vibe Coding đều được “phân mảnh” trước khi được xử lý, và chính cách phân mảnh đó ảnh hưởng trực tiếp đến AI reliability.
Vocabulary và Token ID: Chuyển ngôn ngữ thành chỉ mục số
Sau khi văn bản được chia thành token, mỗi token được ánh xạ tới một số nguyên gọi là token ID. Đây là bước chuyển đổi từ ngôn ngữ sang chỉ mục số rời rạc. Toàn bộ câu lệnh mà người dùng nhập vào thực chất trở thành một dãy số, ví dụ như [1542, 8765, 301, 9021, …].
Ở giai đoạn này, mô hình vẫn chưa “hiểu” bất kỳ điều gì. Token ID chỉ đơn giản là chỉ mục trong bảng vocabulary. Nó không chứa ý nghĩa ngữ nghĩa, không thể hiện mối quan hệ giữa các từ. Hai token ID liền kề về mặt giá trị không có nghĩa là chúng có liên hệ nội dung.
Tuy nhiên, việc ánh xạ này lại có ý nghĩa chiến lược trong AI architecture. Bởi vì toàn bộ Transformer phía sau chỉ có thể hoạt động trên số thực và vector liên tục, bước chuyển từ văn bản sang token ID là cầu nối duy nhất giữa thế giới ngôn ngữ và thế giới tính toán.
Một hệ quả quan trọng là giới hạn vocabulary. Mọi từ hoặc ký hiệu không nằm trong vocabulary sẽ bị tách thành các token nhỏ hơn hoặc được biểu diễn bằng cấu trúc thay thế. Điều này giải thích vì sao một số từ hiếm, tên riêng hoặc thuật ngữ chuyên ngành đôi khi khiến LLM phản hồi kém chính xác hơn. Khi tokenization không tối ưu, embedding phía sau cũng bị ảnh hưởng, làm tăng nguy cơ AI hallucination.
3. Tokenization và ảnh hưởng đến ngữ cảnh trong Transformer
Tokenization không chỉ ảnh hưởng đến từng từ riêng lẻ, mà còn tác động đến toàn bộ cơ chế xử lý ngữ cảnh của Transformer. Sau khi token ID được tạo ra, chúng sẽ được chuyển thành embedding vector và đưa vào các lớp Attention Mechanism. Attention tính toán mức độ liên quan giữa mọi token trong cửa sổ ngữ cảnh.
Nếu văn bản bị chia thành quá nhiều token nhỏ, số lượng phần tử trong context length tăng lên. Điều này không chỉ làm tăng chi phí tính toán mà còn thay đổi cách Attention phân bổ trọng số. Ngược lại, nếu tokenization quá “thô”, một token có thể chứa quá nhiều thông tin, làm giảm khả năng phân tách ngữ nghĩa chi tiết.
Do đó, tokenization là bước đầu tiên nhưng có tính quyết định trong toàn bộ chuỗi xử lý của Large Language Model. Nó ảnh hưởng đến embedding, đến cách Attention Mechanism hoạt động, và cuối cùng là đến chất lượng next-token prediction.
Trong bối cảnh Vibe Coding, hiểu tokenization giúp người dùng nhận thức rằng mọi prompt đều được “cắt nhỏ” trước khi xử lý. Sự chính xác của Structured Prompting không chỉ nằm ở nội dung, mà còn nằm ở cách nội dung đó được biểu diễn thành token. Đây là nền tảng quan trọng để xây dựng AI reliability và một production-grade AI workflow bền vững.
Embedding: Từ ký hiệu rời rạc đến không gian ngữ nghĩa
Vector hóa token
Embedding là quá trình chuyển mỗi token thành một vector nhiều chiều. Thay vì đại diện một từ bằng một số duy nhất, mô hình biểu diễn nó bằng một vector có thể chứa hàng nghìn hoặc hàng chục nghìn thành phần.
Trong các Large Language Model hiện đại, mỗi token có thể được biểu diễn bằng vector có kích thước lên tới 12.288 chiều hoặc hơn. Mỗi chiều có thể được xem như một trục ngữ nghĩa trừu tượng mà mô hình tự học.
Điểm quan trọng là các từ có quan hệ ngữ nghĩa gần nhau sẽ nằm gần nhau trong không gian embedding. Ví dụ, các từ liên quan đến tài chính có xu hướng tụ cụm, tương tự như các từ liên quan đến lập trình hoặc khoa học.
Embedding chính là cầu nối giữa tokenization và Transformer. Nếu không có embedding, Attention Mechanism không thể hoạt động.
Vì sao Embedding quan trọng với Vibe Coding?
Trong bối cảnh Vibe Coding, embedding ảnh hưởng trực tiếp đến khả năng mô hình hiểu prompt. Khi bạn viết một yêu cầu trong Prompt Engineering, mô hình không xử lý câu chữ theo nghĩa logic hình thức. Nó xử lý vector.
Nếu embedding của các từ trong prompt nằm gần các mẫu huấn luyện có chất lượng cao, xác suất mô hình sinh ra code tốt sẽ cao hơn. Nếu prompt chứa từ mơ hồ hoặc thiếu ràng buộc, mô hình phải dựa vào phân bố xác suất rộng hơn, làm tăng nguy cơ AI hallucination.
Embedding vì vậy là nền tảng của AI reliability.
Context Length: Giới hạn trí nhớ của mô hình
Context Length là gì?
Context length là số lượng token tối đa mà Large Language Model có thể xử lý trong một lần suy luận. Nó quyết định “trí nhớ ngắn hạn” của mô hình.
Nếu context length là 128K token, mô hình chỉ có thể xem xét tối đa 128.000 token trong một prompt và phản hồi tương ứng. Mọi token vượt quá giới hạn này sẽ bị loại bỏ khỏi ngữ cảnh.
Điều này có ý nghĩa lớn trong AI architecture, đặc biệt khi xử lý:
Tài liệu dài
Codebase lớn
Chuỗi hội thoại kéo dài
Trong Vibe Coding, nếu ngữ cảnh vượt quá giới hạn, mô hình có thể mất thông tin quan trọng, dẫn đến output không nhất quán.
Tác động đến AI governance và thiết kế hệ thống
Context length không chỉ là thông số kỹ thuật. Nó ảnh hưởng đến cách thiết kế production-grade AI workflow.
Khi làm việc với hệ thống phức tạp, cần:
Tối ưu hóa prompt để tránh dư thừa
Chia nhỏ tác vụ
Thiết kế retrieval layer hợp lý
Nếu không hiểu giới hạn context, tổ chức dễ nhầm lẫn rằng LLM có “trí nhớ vô hạn”. Trên thực tế, nó chỉ có cửa sổ ngữ cảnh hữu hạn.
Position Embedding: Giữ lại thứ tự trong mô hình song song
Vấn đề của xử lý song song
Transformer xử lý token song song thay vì tuần tự như các mô hình cũ. Điều này giúp tăng tốc độ tính toán đáng kể, nhưng tạo ra một vấn đề: nếu xử lý song song, mô hình làm sao biết thứ tự của từ?
Trong ngôn ngữ tự nhiên và trong code, thứ tự là cực kỳ quan trọng. “if x > 0” khác hoàn toàn “0 > x if”.
Nếu chỉ dựa trên embedding của từng token mà không biết vị trí, mô hình sẽ mất thông tin cấu trúc.
Attention Mechanism và Transformer: Cơ chế tạo ngữ cảnh trong Large Language Model
Vai trò của Position Embedding
Để giải quyết vấn đề này, Transformer thêm position embedding vào token embedding. Mỗi token không chỉ có vector đại diện ngữ nghĩa, mà còn có vector đại diện vị trí trong chuỗi.
Hai vector này được kết hợp lại trước khi đưa vào Attention Mechanism.
Nhờ đó, mô hình có thể phân biệt giữa:
Từ xuất hiện ở đầu câu
Từ xuất hiện ở cuối câu
Cấu trúc lồng nhau trong code
Position embedding vì vậy đóng vai trò nền tảng trong AI for software engineering, nơi cấu trúc và thứ tự logic rất quan trọng.
Từ Token đến Transformer: Bức tranh tổng thể
Khi kết hợp các thành phần lại, ta có quy trình cơ bản của một Large Language Model:
Văn bản được tokenization. Token ID được chuyển thành embedding vector. Position embedding được thêm vào để giữ thông tin thứ tự. Transformer sử dụng Attention Mechanism để cập nhật ngữ cảnh giữa các token. Cuối cùng, mô hình thực hiện next-token prediction để sinh ra đầu ra.
Toàn bộ quá trình này diễn ra trên nền tảng Deep Learning với số lượng tham số có thể lên tới hàng trăm tỷ hoặc thậm chí nghìn tỷ.
Điều quan trọng cần ghi nhớ là: LLM không “hiểu” theo nghĩa con người. Nó tính toán xác suất dựa trên vector và attention. Khi áp dụng vào Vibe Coding, điều này đồng nghĩa với việc output chỉ đáng tin cậy khi được đặt trong constraint rõ ràng và được kiểm chứng bằng test-driven development.
Kết luận: Hiểu nền tảng để kiểm soát AI
Vibe Coding có thể tăng AI productivity, nhưng nếu không hiểu nền tảng kỹ thuật của Large Language Model, rất khó đảm bảo AI reliability và AI governance.
Tokenization quyết định cách mô hình nhìn văn bản. Embedding quyết định cách mô hình biểu diễn ý nghĩa. Context length quyết định giới hạn trí nhớ. Position embedding đảm bảo thứ tự và cấu trúc được giữ lại.
Trong bài tiếp theo của series Sec 13, chúng ta sẽ đi sâu hơn vào Attention Mechanism và kiến trúc Transformer - trái tim của Generative AI - để hiểu cách mô hình cập nhật ngữ cảnh và lưu trữ tri thức trong AI architecture.
Hiểu LLM không phải để trở thành nhà nghiên cứu Deep Learning, mà để sử dụng Vibe Coding một cách có kỷ luật và có kiểm soát.
Vibe Coding là gì? Vì sao Generative AI và Large Language Model tạo “ảo giác năng suất” trong lập trình nhưng dễ trở nên hỗn loạn nếu thiếu engineering discipline? Phân tích bản chất LLM, Prompt Engineering và rủi ro AI hallucination trong thực tế.
Blockchain không chỉ được bảo vệ bằng hash và Proof of Work, mà còn bằng một cơ chế khuyến khích kinh tế khiến hành vi trung thực trở thành lựa chọn hợp lý nhất. Khi chi phí tấn công vượt xa lợi ích thu được, bảo mật không còn dựa vào niềm tin, mà dựa vào cấu trúc động lực được thiết kế sẵn trong hệ thống.
![[C1.S11.Ep3] Lịch sử AR và VR: Từ Sensorama đến Spatial Computing](https://mafitech.com/photos/shares/3-2026/thumbs/20260302-ava-lich-su-AR-va-VR.jpg)
![[C1.S10.Ep4] RDA vs RPA vs IPA: Doanh nghiệp nên hiểu 3 cấp độ tự động hóa này như thế nào?](https://mafitech.com/photos/shares/3-2026/thumbs/20260302_dd_S10-04.jpg)
![[C1.S13.Ep02] Vibe Coding có thực sự là tương lai lập trình? Phân tích cơ hội và rủi ro](https://mafitech.com/photos/shares/3-2026/thumbs/20260302_C1S13-02.jpg)
![[C1.S8.Ep5] Cơ chế khuyến khích và kinh tế học của Blockchain](https://mafitech.com/photos/shares/3-2026/thumbs/20260203-avata-blockchainp5.jpg)
![[C1.S10.Ep3] Attended Bot vs Unattended Bot: Doanh nghiệp nên chọn mô hình RPA nào?](https://mafitech.com/photos/shares/3-2026/thumbs/20260302_dd_S10-03.jpg)
![[C1.S10.Ep6] RPA Architecture & Center of Excellence: Thiết kế kiến trúc và quản trị Digital Workforce ở quy mô lớn](https://mafitech.com/photos/shares/3-2026/thumbs/20260302_dd_S10-06.jpg)
![[C1.S10.Ep5] 3 Cấp độ Automation: Basic, RPA và Intelligent Automation khác nhau ở đâu?](https://mafitech.com/photos/shares/3-2026/thumbs/20260302_dd_S10-05.jpg)
![[C1.S13.Ep06] Attention Mechanism & Transformer: Trái tim của Large Language Model](https://mafitech.com/photos/shares/3-2026/thumbs/20260302_C1S13-06.jpg)
![[C1.S11.Ep5] VR Training & Digital Twin: Khi nào mô phỏng tạo ra ROI lớn nhất cho doanh nghiệp?](https://mafitech.com/photos/shares/3-2026/thumbs/20260302-ava-VR-training-va-digital-twin.jpg)
