股票杠杆
杠杆炒股，股票融资！
杠杆炒股，股票融资！
天啦撸！！AI念念出来的idea，还真有东谈主写成论文了。
以致预印本arXiv、博客、代码透顶有了。
本年8月，Sakana AI（由Transformer论文8位作家的临了一位Llion Jones创业诞生）这家公司推出了史上首位“AI科学家”，且一登场就连气儿生成了十篇完整学术论文。
而当前，受其中一篇论文念念法的启发，东谈主类琢磨员真的写出联系论文并在arXiv上公开了。
OpenAI前琢磨团队认真东谈主Jeff Clune抖擞直言：
险些不敢笃信！这是它产生的我最可爱的念念法之一。看到与东谈主类达成一致确切太酷了，东谈主类确乎践诺得更好。
话未几说，让咱们来康康论文具体本色。
Claude提的idea，被东谈主类写成论文了
绽开“AI科学家”之前撰写的论文，咱们找到了Jeff Clune提到的这一篇。
《Grokking Through Compression: Unveiling Sudden Generalization via Minimal Description Length》
通过压缩收尾Grokking：借助最小神情长度（MDL）揭示一忽儿泛化表象
字据神情，这篇论文的念念法由Claude 3.5 Sonnet在第22次迭代时建议。
它主要探讨了神经采麇集最小神情长度（MDL）与 “grokking” 表象（模子经永劫期进修后一忽儿泛化）的关系，从信息论视角琢磨一忽儿泛化的机制。
其中，MDL不错被行为一种估量模子复杂度和可压缩性的措施，即模子既要大概很好地拟合数据，又不成过于复杂（幸免过拟合）。
具体而言，琢磨引入了一种基于权重剪枝的新式MDL猜想手艺，并将其利用于多种数据集，包括模块化算术和摆列任务。联系实验揭示了MDL减少与泛化智商擢升之间存在浓烈的联系性（下图），MDL的振荡点时时在“grokking”事件发生之前或与之同期出现。
此外，琢磨不雅察到在“grokking”与非“grokking”情境下MDL演变模式的相反，前者以快速的MDL减少后抓续泛化为特征。这些发现为说明“grokking”的信息论基础提供了倡导，并标明在进修时期监控MDL不错展望行将发生的泛化。
Okk，了解了原论文，咱们再来看东谈主类选手最新发表的本色。
轮廓而言，他们琢磨了神经蓄积在 “grokking” 表象中的复杂性动态，即蓄积从牵挂进修数据到收尾竣工泛化的过渡进程，并建议了一种基于失真压缩表面的新措施来估量神经蓄积的复杂性。
开赴点，作家之一Branton DeMoss自述，他们受到了Sean Carroll和Scott Aaronson之前琢磨的启发。
通过不雅察咖啡与奶油搀杂的表象，Scott等东谈主发现复杂性跟着时期的推移开赴点高潮，然后着落，这一进程与熵单调加多的趋势相似。
而DeMoss团队方式化了这一直观，并将其利用于神经蓄积，p2p理财以追踪这些蓄积学习的抽象复杂度。
张开来说，作家们相通先先容了grokking表象，即神经蓄积在永劫期过度拟合进修数据后一忽儿大概泛化的智商。
其中x轴暗示优化步数，y轴暗示准确率；红线代表进修集的准确率，绿线代表考证集的准确率。
不错看到，若是进修一个袖珍Transformer来进行模拟，在几百个进修法子之后，模子仍是竣工地拟合了进修数据；但是，它直到梗概10^5个进修法子才气收尾泛化。
为了诠释这一表象，团队引入了一种基于失真压缩和Kolmogorov复杂性的新措施来估量神经蓄积的复杂性，并通过这一框架追踪了grokking进程中蓄积复杂性的动态变化。
按照作家的比方，这就像“神经蓄积的JPEG”。
琢磨效果标明，蓄积在从牵挂到泛化的过渡中，其复杂性开赴点高潮，随后在泛化发生时着落。
进一阵势，琢磨发现若是神经蓄积莫得任何方式的正则化（一种凝视过拟合的手艺），它将无法从牵挂阶段过渡到泛化阶段，而是会无穷期地保抓牵挂模式。
莫得正则化的反映：
有正则化的反映：
此外，作家指出传统的复杂性评判法式（如参数数目和权重范数）并不成准确神情模子的复杂性，因为它们忽略了进修进程中的变化。
对此，他们禁受了最小神情长度（MDL）原则和Kolmogorov复杂度来界说和类似复杂性，并通过实验考证了这种措施，并强调了浅易模子在数据压缩中的上风。
最终，琢磨标明说明复杂性对展望模子泛化智商至关紧要。
更多细节感好奇艳羡好奇艳羡不错查阅原论文（地址文末）。
不错看出，一个由AI领先建议的念念法，最终由东谈主类来完成了更紧密的论证。
有网友就分析指出AI写的那篇实验效果不足东谈主类琢磨员：
而之前撰写过“AI科学家”总论文的共合并作Cong Lu也暗示：
谁知谈翌日AI还会激勉出哪些其他念念法……
BTW，就在Sakana AI公布“AI科学家颓靡生成10篇学术论文”的音信后，公司在9月份还拿到了一笔2亿好意思元的A轮融资，内部还有英伟达的参与。
总之，AI以后不仅能我方写论文，还能和东谈主类搭配干活了。
— 完 —