影片分享

你是否曾好奇，為什麼即使你多次詢問ChatGPT相同的問題，它卻會給出不同的答案？這不只是「採樣」的隨機性，即使將溫度（temperature）設為0，理論上應該確定性的LLM API在實踐中仍然是非決定性的！ 許多人認為這是浮點數運算非結合性與並行執行造成的「併發+浮點數」假說，但這並非全貌。在這部影片中，我們將深入探討大型語言模型（LLM）推理中非決定性的真正原因，並分享如何解決這個問題，實現可重現的結果！

今天我們將深入探討由 麻省理工學院 NANDA 專案 (MIT NANDA Project) 於 2025 年 7 月發布的重量級報告：《2025 年企業 AI 現況：GenAI 鴻溝》。這份報告揭露了企業在導入生成式 AI (GenAI) 方面一個驚人的現實：儘管投入了數百億美元，但絕大多數的 GenAI 專案卻未能帶來實質回報，形成了巨大的「GenAI 鴻溝」！

大型語言模型 (LLMs) 以其生成看似合理卻不正確的陳述而聞名，這種現象被稱為「幻覺」。幻覺嚴重損害了模型的實用性和可信度，即使在最先進的系統中也持續存在。它們與人類感知經驗有根本上的不同。例如，當被問及 Adam Tauman Kalai 的生日時，一個頂尖的開源語言模型曾三次給出不正確的日期：「03-07」、「15-06」和「01-01」，即使提示要求只在知道的情況下回答。本影片將深入探討 LLM 產生幻覺的統計原因及其在訓練流程中的持久性，並探討可能的解決方案，以期開發出更值得信賴的 AI 系統。研究表明，幻覺的產生並非神祕，它們僅源於二元分類中的錯誤。

你是否曾為部署大語言模型(LLM)代理程式時遇到的資源管理、排程和效率問題感到困擾？ 本影片將深入介紹 AIOS (LLM-based AI Agent Operating System)，一個創新的架構，旨在優化LLM代理程式的執行效率、資源利用和安全性！