HW2: Document QA based on RAG

535109 生成式人工智慧   ·  2026 Spring Semester Author: Wei-Chih, Chen (陳偉銍) 2026/03/31

Introduction

本次作業將引導大家完成一個文件知識問答系統，我們將以 200 篇 NLP 領域的論文作為實驗對象。

請使用 RAG (Retrieval-Augmented Generation) 技術，基於提供的資料集實作 Document QA。

• 本次 LLM 統一使用 TA 指定的模型，不允許自行更換
• Embedding model 與 Rerank model 可自行選擇免費且開源的模型
• 需要設計：
  • Query LLM 的 Prompt
  • 一套回答問題的 Pipeline（Pipeline 中可以進行多輪/多階段 LLM 對話，例如對搜尋到的文字進行摘要等）

指定 LLM

本次統一使用：meta-llama/Llama-3.2-3B-Instruct

固定 LLM 的目的是讓大家將重點放在 RAG Pipeline 本身的設計（Embedding、Chunking、Reranking、Prompting 策略），而非靠更大的模型取勝。

存取方式（任選其一即可）：

• Ollama（本機）：ollama run llama3.2:3b，並透過 langchain-ollama 或 OpenAI 相容 API 呼叫
• OpenRouter API（雲端免費）：使用 meta-llama/llama-3.2-3b-instruct:free
• vLLM / HuggingFace TGI（自架）：如有 GPU 資源可自行啟動 OpenAI 相容 server

不允許使用：其他 LLM（包含更大的模型、其他開源或商業模型）

Embedding / Rerank Model 規範