這陣子在看一篇叫 D2E: Scaling Vision-Action Pretraining on Desktop Data for Transfer to Embodied AI 的工作，老實說一開始我有點懷疑。 他們用桌面操作資料訓練，然後拿去控制機器人? 聽起來就很像以前那種 conceptually elegant but practically dubious 的想法。 但整篇看完之後，我覺得這個方向其實比我原本想的還要務實，而且它點到了一個我們現在做 agent、做 embodied AI 都會遇到的資料到底從哪來的問題。 D2E 的核心想法是既然「人在電腦上操作」本來就是一種 vision → action 的過程，那為什麼不先用這種資料，訓練模型「看畫面 → 做決策 → 執行動作」的能力 而且桌面環境的好處太多了，解析度高、狀態清楚，Action 是離散又可記錄的，像是滑鼠、鍵盤等，資料量可以 scale 到很大幾乎不缺。 這篇工作基本上就是把 desktop usage 當成一種低成本、可擴展的 embodied pretraining proxy，推薦有興趣可以去看看，不過說真的，我當初是被遊戲畫面吸引過去的😂
位置圖語音・Avatar丘陵一帶
2 週
全圖
電子報
下一篇寫好時，寄給你。
新文章上站時寄一封信，不寄別的。隨時一鍵退訂。
附近的石堆 · 地圖上離這篇最近的文章
語音・Avatar丘陵同一天 語音大腦崛起：邁向讓機器聽懂你、用聲音回應你的時代 最近參加 Twinkle AI 舉辦的 Podcast，很有收穫就寫了下心得分享給沒聽到的大家，以下文章也同步發布在 AILogora，有興趣可以去那邊討論。 語音・Avatar丘陵相距 53 天 微軟開源 TTS：VibeVoice 微軟幾天前發布了新的開源 TTS 技術 VibeVoice，旨在解決傳統 TTS 會面臨的以下問題： 1. 長文本不穩定：遇到較長的對話容易不穩、且情感缺失。 2. 多人說話限制：… Vibe Coding河谷相距 50 天 殭屍網路真實遭遇分享 | React 安全性漏洞 | CVSS 10/10 沒想過有一天會遇到網路攻擊事件，特別記錄下來給大家參考，也做了幾張投影片讓各位快速了解。 如果你還沒更新 Next.js，記得趕緊更新；如果你是資安專家，也希望能給我一些建議 🙏…