文章

工程筆記

AI 架構的深入探討，以及我們正在打造的東西。

訓練佔據頭條，但帳單在推論時到來——每一次請求、每一天。以可負擔的成本、夠快的速度提供大型語言模型服務，本身就是一門架構學問。這些是最重要的槓桿。

Agent 是一個能規劃、呼叫工具、觀察結果並決定下一步的語言模型。串幾個 prompt 很簡單；打造一個可靠、有邊界、可除錯的 agentic 系統，是架構問題。這是我們的做法。

檢索增強生成（RAG）已成為讓大型語言模型以自有資料為依據的預設做法。Demo 很容易，正式系統不容易。差距在架構——你怎麼取入、檢索、排序與評估。