RAG — Retrieval Augmented Generation

1. RAG là gì?

Hãy hình dung: LLM giống một chuyên gia có kiến thức rộng nhưng đôi khi bịa câu trả lời. RAG giống đưa cho chuyên gia đó một thư viện tham khảo — trước khi trả lời, họ tra cứu tài liệu phù hợp rồi mới phát biểu.

RAG (Retrieval Augmented Generation) = Truy xuất thông tin liên quan + Sinh câu trả lời. Thay vì LLM trả lời từ “trí nhớ” cũ, RAG tìm dữ liệu mới nhất rồi đưa cho LLM làm context.

2. Tại sao LLM cần RAG?

3. Kiến trúc 3 bước

Bước 1: Ingestion (Nạp dữ liệu) — chạy 1 lần

1. Load — đọc PDF, Word, HTML, database, API
2. Chunk — chia thành đoạn nhỏ 200-1000 tokens
3. Embed — chuyển mỗi chunk thành vector bằng embedding model
4. Store — lưu vectors vào vector database

Bước 2: Retrieval (Truy xuất) — mỗi query

1. Embed query — chuyển câu hỏi thành vector
2. Similarity search — tìm top-K chunks gần nhất
3. Rerank (optional) — xếp hạng lại bằng cross-encoder

Bước 3: Generation (Sinh câu trả lời)

Dựa trên các thông tin sau:
---
[Chunk 1: nội dung liên quan...]
[Chunk 2: nội dung liên quan...]
---
Hãy trả lời: {user_question}
Chỉ trả lời dựa trên thông tin được cung cấp.
Nếu không tìm thấy, nói "Tôi không có thông tin này."

4. Chunking Strategies

5. Vector Databases

6. Hands-on: Build RAG Pipeline

6.1 Cài đặt

pip install langchain langchain-openai langchain-community
pip install chromadb pypdf
export OPENAI_API_KEY="sk-your-key"

6.2 Code hoàn chỉnh

from langchain_community.document_loaders import PyPDFLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_openai import OpenAIEmbeddings, ChatOpenAI
from langchain_community.vectorstores import Chroma
from langchain.chains import RetrievalQA

# 1. Load & Chunk
loader = PyPDFLoader("company_policy.pdf")
documents = loader.load()

splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=100,
    separators=["\n\n", "\n", ". ", " "]
)
chunks = splitter.split_documents(documents)
print(f"Created {len(chunks)} chunks")

# 2. Embed & Store
embeddings = OpenAIEmbeddings(
    model="text-embedding-3-small"
)
vectorstore = Chroma.from_documents(
    documents=chunks,
    embedding=embeddings,
    persist_directory="./chroma_db"
)

# 3. Query
llm = ChatOpenAI(model="gpt-4o", temperature=0)
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(
        search_kwargs={"k": 5}
    )
)

answer = qa_chain.invoke(
    "Chính sách nghỉ phép là gì?"
)
print(answer["result"])

Created 47 chunks from PDF

Theo chính sách công ty, nhân viên chính thức 
được nghỉ phép 12 ngày/năm. Nhân viên mới 
(dưới 1 năm) được nghỉ theo tỷ lệ tháng đã 
làm việc. Nghỉ phép cần đăng ký trước 3 ngày 
qua hệ thống HR.

7. Kỹ thuật nâng cao 2025

• Hybrid Retrieval — kết hợp keyword search (BM25) + vector search cho kết quả tốt hơn
• Query Rewriting — LLM viết lại câu hỏi user cho phù hợp hơn với knowledge base
• Reranking — sau retrieval, dùng cross-encoder sắp xếp lại theo relevance thực sự
• Agentic RAG — AI agent tự quyết định khi nào cần search, search ở đâu, cần bao nhiêu context
• Multi-modal RAG — retrieve cả text, images, tables từ documents

8. Đánh giá chất lượng RAG

Dùng RAGAS framework để đo:

9. Sai lầm & Bước tiếp theo

❌ Sai lầm thường gặp

• Chunk quá nhỏ → mất ngữ cảnh, câu trả lời rời rạc
• Chunk quá lớn → nhiều noise, tốn token
• Embedding model yếu → retrieval kém, trả lời sai
• Không rerank → top-K có thể chứa chunks không liên quan
• Prompt không chặt → LLM bịa thêm thay vì nói “không biết”

🔜 Đọc tiếp

• Graph RAG — RAG + Knowledge Graph cho reasoning phức tạp
• Embedding — hiểu sâu cách vector embeddings hoạt động
• n8n — build RAG pipeline no-code