之前的帖子介绍过深度思考模式的一些想法,这里我要从问题解决的角度审视ai还缺少什么。想法有很多,会写的比较乱,但我是懒狗,不想整理,随便看看吧![](https://gsp0.baidu.com/5aAHeD3nKhI2p27j8IqW0jdnxx1xbK/tb/editor/images/client/image_emoticon3.png)
首先关于审视这个词,大体上可以与内省等价,也与概念流的呈现回溯等价,类似于一种俯瞰的视角,特斯拉现在的fsd就用的俯瞰视角,看起来特斯拉内部也有高人
注意到这些词是分属于不同场景的概念,最终却殊途同归,表达了几乎一样的行为,所以从不同的具体场景挖掘概念并寻找联系的能力是至关重要的。目前的ai拥有不错的关系建模能力,但是对于长距离关系的建模能力还远远不够,这主要是缺少更强的抽象能力和更细粒度的概念呈现能力,而这种能力依赖于更大的模型(至少十万亿参数量)和相应的训练任务及对应数据集。
其次,ai的关系建模能力是用来解决问题的,尤其是难题,现在的ai打开方式过于局限于娱乐以及解决低级问题上,当然这不能过于苛责,因为绝大部分团队和社区都没有资源和能力去解决难题。sam多次强调能否解决量子引力问题是衡量agi实现与否的标志是类似的想法,不过目前openai似乎也遇到瓶颈了,虽然内部有强得多的模型,但是可能离agi还是很远,要是实在不行可以请我去帮忙出出主意。
再次,解决问题的本质就是路径寻找。所有领域的问题解决都可以统一到一个范式:路径规划、具体执行发现问题、寻找解释和解决办法、调整路径规划、再次执行直到到达目的地,如果发现现阶段有过不去的坎,就判定该问题暂时无解。这个流程要让ai学到并刻在骨子里。之前介绍大模型引入主动强化学习的帖子里介绍过关联行为空间,这个空间就是用来做路径规划用的。对于一个给定的问题,如果问题简单,直接就能通过触发相应的关联行为空间找到对应路径;如果问题很难,比如多步骤问题,就需要首先进行一个总体规划然后再执行。目前的rlhf最多就能实现简单问题的解决,要想大模型具备解决复杂问题的能力,rlhf远远不够。之前的alphago的关联行为空间非常简单,直接就能搭建一个完整的选择空间,再结合价值策略网络剪枝降维和蒙特卡洛搜索快速走子验证,很快就能收敛出路径来。对于自然环境下的问题,关联行为空间是很难搭建的,因为自然环境下的问题选择太多,必须要有能够充分降维的能力,也即抽象思维能力。既然从无穷到有穷太难,那就不妨先从0到有穷,等到具备一定解决问题的能力后再尝试从无穷到有穷。具体做法就是通过模仿学习扩充关联行为空间,蒙特卡洛搜索快速寻找可能的选择链搭建执行路径,具体执行寻找问题点并触发关联解释和解决办法,再重新规划路径并执行。这里的主要难点在于模仿学习的数据集搭建,人类是通过教材加上老师指导来做模仿学习的,ai也得要类似的培养式数据集。
最后,合成数据用于喂饱更大的模型、多模态大模型搭建不同模态的审视空间、agent系统实现短期快速记忆和中间结果存储、通过类似于惊讶值的东西来实现动态更新步长、通过感知问题空间是否被密铺来判定问题解决与否等等想法都有待检验![](https://gsp0.baidu.com/5aAHeD3nKhI2p27j8IqW0jdnxx1xbK/tb/editor/images/client/image_emoticon3.png)
![](https://gsp0.baidu.com/5aAHeD3nKhI2p27j8IqW0jdnxx1xbK/tb/editor/images/client/image_emoticon3.png)
首先关于审视这个词,大体上可以与内省等价,也与概念流的呈现回溯等价,类似于一种俯瞰的视角,特斯拉现在的fsd就用的俯瞰视角,看起来特斯拉内部也有高人
![](https://gsp0.baidu.com/5aAHeD3nKhI2p27j8IqW0jdnxx1xbK/tb/editor/images/client/image_emoticon3.png)
其次,ai的关系建模能力是用来解决问题的,尤其是难题,现在的ai打开方式过于局限于娱乐以及解决低级问题上,当然这不能过于苛责,因为绝大部分团队和社区都没有资源和能力去解决难题。sam多次强调能否解决量子引力问题是衡量agi实现与否的标志是类似的想法,不过目前openai似乎也遇到瓶颈了,虽然内部有强得多的模型,但是可能离agi还是很远,要是实在不行可以请我去帮忙出出主意。
再次,解决问题的本质就是路径寻找。所有领域的问题解决都可以统一到一个范式:路径规划、具体执行发现问题、寻找解释和解决办法、调整路径规划、再次执行直到到达目的地,如果发现现阶段有过不去的坎,就判定该问题暂时无解。这个流程要让ai学到并刻在骨子里。之前介绍大模型引入主动强化学习的帖子里介绍过关联行为空间,这个空间就是用来做路径规划用的。对于一个给定的问题,如果问题简单,直接就能通过触发相应的关联行为空间找到对应路径;如果问题很难,比如多步骤问题,就需要首先进行一个总体规划然后再执行。目前的rlhf最多就能实现简单问题的解决,要想大模型具备解决复杂问题的能力,rlhf远远不够。之前的alphago的关联行为空间非常简单,直接就能搭建一个完整的选择空间,再结合价值策略网络剪枝降维和蒙特卡洛搜索快速走子验证,很快就能收敛出路径来。对于自然环境下的问题,关联行为空间是很难搭建的,因为自然环境下的问题选择太多,必须要有能够充分降维的能力,也即抽象思维能力。既然从无穷到有穷太难,那就不妨先从0到有穷,等到具备一定解决问题的能力后再尝试从无穷到有穷。具体做法就是通过模仿学习扩充关联行为空间,蒙特卡洛搜索快速寻找可能的选择链搭建执行路径,具体执行寻找问题点并触发关联解释和解决办法,再重新规划路径并执行。这里的主要难点在于模仿学习的数据集搭建,人类是通过教材加上老师指导来做模仿学习的,ai也得要类似的培养式数据集。
最后,合成数据用于喂饱更大的模型、多模态大模型搭建不同模态的审视空间、agent系统实现短期快速记忆和中间结果存储、通过类似于惊讶值的东西来实现动态更新步长、通过感知问题空间是否被密铺来判定问题解决与否等等想法都有待检验
![](https://gsp0.baidu.com/5aAHeD3nKhI2p27j8IqW0jdnxx1xbK/tb/editor/images/client/image_emoticon3.png)