Prompt Repetition Improves Non-Reasoning LLMs

Prompt Repetition Improves Non-Reasoning LLMs 最近讀到一篇很土炮但有效的 preprint，Google 的研究員把同一段 prompt 直接貼兩次（），在不開推理模式的情況下，Gemini / GPT / Claude / DeepSeek 在 ARC、OpenBookQA、GSM8K、MMLU-Pro、MATH 等多數測試都變準，而且幾乎不會讓輸出變長、延遲也大多差不多，他們把這招叫 prompt repetition。 我覺得它有趣的點是，這其實是在補 causal LM 的結構限制：模型只看得到前文，所以「關鍵資訊」如果放在不對的位置，就容易被用不到；重複一次等於讓關鍵片段在序列裡出現兩次，更容易對齊到彼此，它在那種長上下文的抽取/定位題（例如要你從一串名字中找第 N 個）效果甚至誇張到離譜。 缺點就是 input token 直接翻倍，成本跟 context window 都要付錢，但是現在 model 普遍 input token 較 output token 便宜，而且效能都是卡在 output token 的速度上，所以我目前認為非常值得去試試，尤其在傳統 RAG 系統上。