Bộ tài liệu chuyên sâu về AI Engineering dành cho Backend Engineer, Tech Lead và Solution Architect. Không dạy Machine Learning. Không dạy toán. Dạy cách thiết kế, tích hợp, vận hành và tối ưu AI như một thành phần trong hệ thống phần mềm.
Triết lý của bộ tài liệu
AI không phải là phép màu. Với Backend Engineer, LLM là một service có độ trễ cao, chi phí biến động, đầu ra không xác định (non-deterministic), và không có SLA về tính đúng đắn. Nhiệm vụ của chúng ta là bọc thành phần đó trong một kiến trúc đủ tốt để hệ thống tổng thể vẫn đáng tin cậy, quan sát được, mở rộng được và kiểm soát được chi phí.
Mọi chương đều đi theo mạch:
Business Problem → Traditional Software → Giới hạn → LLM giải quyết gì
→ AI Architecture → Backend Integration → Production → Scaling → Trade-off → Failure CasesMọi kết luận đều trả lời 4 câu hỏi:
- Vì sao AI được dùng cho bài toán này?
- Nếu không dùng AI thì giải pháp truyền thống là gì?
- AI mang lại lợi ích gì và đánh đổi điều gì?
- Khi nào không nên dùng AI?
Mục lục
Phần I — Nền tảng (Level 1 & 2)
| Chương | Nội dung |
|---|---|
| 01 — AI Fundamentals cho Engineer | AI vs ML vs Deep Learning vs LLM, Transformer ở mức kiến trúc, Inference |
| 02 — LLM Fundamentals | Token, Tokenization, Context Window, Embedding, Attention, Temperature, Top-k, Top-p — và ảnh hưởng đến chất lượng & chi phí |
Phần II — AI Engineering (Level 3)
| Chương | Nội dung |
|---|---|
| 03 — Prompt Engineering & Structured Output | Prompt Structure, Few-shot, Chain of Thought, Role Prompt, Prompt Template, JSON Mode |
| 04 — Function Calling, Tool Calling & MCP | Cách LLM “gọi” hệ thống của bạn, Model Context Protocol |
| 05 — RAG (Retrieval-Augmented Generation) | Kiến trúc RAG, Chunking, Vector Search, Hybrid Search, Re-ranking, Context Assembly, RAG vs Fine-tuning |
| 06 — Vector Database | pgvector vs Qdrant vs Milvus vs Weaviate vs Pinecone; HNSW, IVF, ANN, Recall vs Latency |
| 07 — AI Agents | Agent, Planning, Memory, Workflow vs Agent, Multi-agent, MCP trong hệ agent |
Phần III — AI Backend (Level 4)
| Chương | Nội dung |
|---|---|
| 08 — AI Backend Architecture | AI Gateway, Model Routing, Caching, Streaming, Session, Conversation History, Rate Limiting, Retry, Fallback |
| 09 — Model Serving | OpenAI/Anthropic/Gemini API, Ollama, vLLM, TensorRT-LLM; API vs Self-hosted |
| 10 — AI System Design | Thiết kế Chatbot, AI Search, Customer Support, Coding Assistant, Document QA, Knowledge Base, Email Assistant |
Phần IV — AI Production (Level 5)
| Chương | Nội dung |
|---|---|
| 11 — Production: Observability, Evaluation & MLOps | Observability, Evaluation, Guardrails, Cost Optimization, Prompt Versioning, A/B Testing, Hallucination Detection, Rollback |
| 12 — Security | Prompt Injection, Jailbreak, Data Leakage, PII Protection, Secret Management, Output Filtering |
| 13 — Production Failure Cases | 13 sự cố production điển hình: triệu chứng, root cause, metric, alert, cách khắc phục và phòng tránh |
| 14 — So sánh khách quan | OpenAI vs Anthropic vs Gemini, API vs Self-hosted, RAG vs Fine-tuning, Workflow vs Agent, LangGraph vs Temporal, Go vs Node.js, Streaming vs Non-streaming |
Lộ trình đọc gợi ý
- Backend Engineer mới tiếp cận AI: đọc tuần tự 01 → 14.
- Đã build ứng dụng LLM, muốn lên production: 05, 06, 08, 11, 12, 13.
- Tech Lead / Architect cần ra quyết định công nghệ: 05, 07, 09, 10, 14.
- Đang gặp sự cố production: 13 (tra cứu theo triệu chứng), sau đó quay lại chương tương ứng.
Quy ước
- Thuật ngữ kỹ thuật (Token, Embedding, Context Window, RAG, Inference…) giữ nguyên tiếng Anh.
- Sơ đồ dùng Mermaid — render trực tiếp trên GitHub, GitLab, Obsidian, VS Code.
- Code mẫu: Golang cho phần infrastructure (gateway, routing, streaming), Node.js/TypeScript cho phần application (RAG, agent, prompt).
- Giá token, tên model, benchmark là số liệu minh họa mang tính thời điểm — luôn kiểm tra lại trước khi ra quyết định, vì thị trường model thay đổi theo quý.