這段訪談深入探討了AI軟體工程中廣泛使用的Agent MD與Claude MD文件對工具效能的影響。一項最新研究指出，這些上下文文件不但沒有明顯提升模型在真實任務的完成率，甚至還在多款大型語言模型（如Sonet 45、GBD52、51 mini和Quen 3）中導致表現下降，且增加了超過20%的執行成本。這引發了對於這些檔案是否真正有用的嚴肅質疑。
訪談中提到，Agent MD等文件主要是用來幫助模型理解代碼庫結構與工作流程，理論上可以協助模型更有針對性地完成程式碼任務。例如，這些文件會包含基本執行指令、架構說明、關鍵程式碼模式等資訊。然而，即使是由模型自動產生的上下文文件，不但沒有帶來效能提升，反而表現稍有下降，表明過多的上下文資訊會干擾模型做出正確判斷。
深入解析AI模型的運作邏輯，訪談指出模型不只是根據使用者最新的提問做出反應，還會結合「提供者指令」（provider instructions）、系統提示（system prompt）及開發者訊息（developer message，也就是Agent MD等文件）在內的多層次上下文資訊。這些資訊在模型的回應中佔有不同優先權，且如果上下文中包含過多不相關或過時的資訊，會分散模型焦點，造成效率降低與錯誤增加。
一個關鍵問題是這些Agent MD及类似文件容易過時且難以維護，它們反而可能成為錯誤產生的根源。實際測試中，移除Agent MD後模型反而運行更快且效果不差，反映了若上下文管理不當，這些文件可能造成負面影響。
基於這些洞察，講者提出了一套實務建議：
- 不要盲目增加過多的Agent MD或Claude MD文件內容，尤其是那些可以從程式碼庫和package.json等文件自動獲取的資訊。
- 將Agent MD作為補救工具，用於引導模型避免持續犯錯，例如強制執行型別檢查（type checking）或避免使用錯誤的依賴模式。
- 持續監控並讀取模型輸出，將模型的「誤解」或「困惑」記錄下來，並藉由修正代碼結構或測試來引導模型。
- 優先改善測試覆蓋率、類型安全、整合流程，因為這些能從根本減少模型判斷錯誤的機率，遠比依賴上下文文件有效。
- 理解模型會受到上下文訊息影響，故應謹慎設計上下文檔案，避免過度且無關重要資訊干擾模型。
此外，講者分享一個有趣的方法：有時故意在Agent MD文件中「欺騙」模型（例如告知專案還是初期狀態，允許隨意修改架構）反而可以讓模型更有效率地工作，展現了設計提示策略的靈活應用。
訪談還推薦了一款名為Daytona的彈性容器服務，專為執行AI"agent"設計，方便模型在安全沙盒中編輯、執行與測試程式碼。這種遠端執行環境可提高開發效率並降低成本。
最後，講者鼓勵大家多試驗、多觀察並累積經驗，因為AI輔助程式設計仍屬新興領域，最佳作法尚在快速演化中。他們強調，理解和管理上下文是成功運用AI協助開發的關鍵，期望這些見解能幫助開發者提升AI輔助程序的成效。
沒有留言:
張貼留言