曩昔几年开yun体育网，大言语模子 (LLM) 的进度主要由现及时计较缩放主导。尽管这种范式已被阐明额外灵验，但预现实更大模子所需的资源变得颠倒奋斗，数十亿好意思元的集群依然出现。这一趋势激发了东谈主们对其互补圭臬的浓厚有趣有趣， 即推理时计较缩放。推理时计较缩放无需日趋广宽的预现实预算，而是接受动态推理计策，让模子大意对坚苦进行 “更万古辰的念念考”。最有名的案例是 OpenAI 的 o1 模子，跟着推理时计较量的加多，该模子在数学坚苦上获取了握续的矫正:

尽管咱们无从得知 o1 是如何现实的，但 DeepMind 最新的商讨标明，使用迭代式自完善或让奖励模子在解空间上搜索等计策，不错较好地终结优化推理时计较缩放。通过证据领导自稳当地分派推理时计较，较小的模子不错与更大、更耗资源的模子相比好意思，巧合致使优于它们。当内存受限或可用硬件不及以运转更大的模子时，缩放推理时计较尤其故意。关系词，目下通盘关于该圭臬的后果阐述齐是基于闭源模子的，况且莫得公开任何终结细节或代码😢。

曩昔几个月，咱们一直在深刻尝试逆向工程这些阐述并胜利重现了其中的一些截至，当今，咱们很快乐向各人共享咱们的得益。具体来说，本文将先容:

计较最优缩放：咱们如何终结 DeepMind 的圭臬以在推理时普及绽开模子的数学技艺。

各样化考证器树搜索 (DVTS，Diverse Verifier Tree Search): 咱们对 考证器指令的树搜索 期间冷漠了一个新的矫正。该矫正简便灵验，不错普及输出的各样性且性能更好，额外是在推理时计较预算较高的情况下尤其彰着。

🧭 Search and Learn: 一个轻量级的用具包，其使用 LLM 终结搜索计策开yun体育网，并用 vLLM 加快。