本影片探討Anthropic於去年十一月推出的一系列AI工具調用新功能,旨在解決傳統工具調用中「上下文容量被工具定義與中間結果佔用過多」以及「工具數量多導致模型無法精確挑選合適工具」的問題。新版Sonnet 4.6發布後,這些功能已可在Claude API上普遍使用。
影片中重點展示兩項先進技術:工具搜尋工具(Tool Search Tool)與程式化工具調用(Programmatic Tool Calling)。這些不是Claude API獨有,也非Anthropic首創,而是通用的AI代理構建設計模式,可在不同框架及模型中實施。
工具搜尋工具利用「延遲加載」設計,避免一開始就將所有工具加載引入上下文,藉由關鍵字檢索動態載入所需工具,大幅減少上下文令牌數量。例如,以前一次請求會導致超過一萬三千個令牌,啟用工具搜尋後,令牌用量可降至約六千三百個。
程式化工具調用則允許模型生成並執行可程式化的腳本,在沙箱容器中執行,避免逐步一條條語句返回導致的上下文膨脹與效率低下。示範中以旅遊預算核查問題為例,傳統方法耗費超過七萬六千個令牌並多次呼叫工具卻忽略部分成員,程式化調用則通過迭代生成與糾錯腳本,逐步獲得正確且完整答案,且令牌使用顯著降低。
程式化工具調用的執行依賴本地Docker沙箱(LLM Sandbox),在隔離且安全的環境中運行Python腳本,通過安全的工具橋(Tool Bridge)與外部API溝通,確保沙箱無網路權限且不直接暴露API密鑰等資訊。此架構可支持多語言擴展並提升執行效率。
此外,Anthropic建議結合「工具使用範例」來提升參數處理的準確度,透過範例引導(multi-shot prompting)可使模型更精確地理解複雜結構字段,如日期格式等,使準確率從72%提升到90%。
影片作者也指出,儘管Anthropic宣稱平均可節省85%上下文令牌用量,實際效果依用例而異,且在規模較大或更複雜的情況下,程式化工具調用才更顯其必要性。最後介紹了具備千億參數的本地模型Quinn 3.5的實測,表現出色,令牌用量更低。
總結來說,Anthropic新一代工具調用技術強調分層策略:透過工具搜尋控制工具元件引入防止上下文膨脹,通過沙箱程式化調用處理大量中間計算邏輯,再利用工具使用範例提高數據傳遞精度。這些技術和思路對任何構建大型、可擴展AI代理系統者均具參考意義。
最後,影片鼓勵觀看者加入AI Automators社群,參與實時工作坊與學習更多生產級AI系統建置技巧,並附上代碼庫與相關教學連結。
