再谈deepseek的贡献
在谈之前首先要明确一点，engineering contribution 也是contribution。按照社交媒体和本坛的说法，deepseek 的贡献主要是：开源，grpo (reinforcement learning), moe, fp8。
我个人分析如下：
1，开源。这个没得说，贡献很大。
2，grpo，这个说实话比较incremental。基于ppo 做的改进，类似的idea太多了，从ppo（openai 17年的文章）开始，dpo (Stanford 24年的文章）算一个milestone，之后很多很多work都在提高dpo，ppo。grpo大概率不是下一个milestone。
3，moe，这个算engineering contribution。moe最早hinton 91年就提出了，一直以来都很多很多人用，包括llm时代。deepseek的贡献在于第一次把moe做成了sota的llm。meta之前在llama上试过moe，但是没试出来。
4，自制fp8，这个也是engineering contribution，但是是比较有价值的，推广之后应该蛮多人用。当然底层还是nvidia的那套，什么摆脱cuda霸权就有点闹麻了。 大家还有什么技术细节可以发出来讨论一下 专业，我也是认为deepseek是多多少少有一些优点，但它在基础方面没有开创性，也就是0-1这方面，结果墙内媒体吹成划时代的发明，击垮美国ai产业，还有得上升到国运级别，是真的太幽默了。 大佬，怎么看待“从来没有蒸馏o1这个说法，只有蒸馏ray” 康吹布油迅 全是不认识的专业名词，我说啥 openai那个mark chen的发言最搞笑了，我估计deepseek这次开源出来的东西里有close ai之前藏着掖着的东西。 往细了说没有必要啊，这也不是技术论坛，差不多就行了 带专落泪 看哭了，以后没文化上泥潭就自闭，聊的东西都看不懂
页:
[1]