太空探索技术公司吧 关注:7,556贴子:349,284
  • 5回复贴,共1

最近的一些脑洞

只看楼主收藏回复

大模型收敛出来的语义空间不必将所有概念的联系建立起来,只需要把最重要、最常用的联系建立起来,之后就靠思维链来触发并串联起来。
深度思考模式:需要一个中央控制区来对思维链呈现回溯的过程进行控制,主要是思维链进程调度。回溯过程主要通过llm对呈现的内容做对比评估,这个能力需要刻意训练。
持续学习:快速的持续学习主要是思维链的积累和迭代更新(使用rag来进行排序和检索),慢速的持续学习则是要将积累到的思维链更新到基座模型去,需要重新训练基座模型或者开发一种定点更新模型的技术,即思维链局部激活更新。
强化学习:用于回溯过程,根据回溯结果更新基座模型。
幻觉主要靠与真实世界的交互以及回溯来消除,rlhf就是以人为载体帮助模型与真实世界交互,还有可以设置信心阈值,比如高于80%认为知道,高于50%认为可能知道,低于30%认为不太知道,低于10%认为不知道,多沟通交流或者自身回溯几次就能确定知道还是不知道了。
直觉驱动的逻辑体系:与真实世界充分交互后形成更完备的直觉驱动的逻辑体系。
复杂思维模式的学习方法:主攻数学和物理教科书,其他的均为辅助,物理思维对于理解真实世界最重要。所谓的策略、规划、评估等能力都可以看做复杂思维模式的子集。
信用危机:以前的信用源(主要是共情机制)不可信了,需要新的信用源,比如区块链机制等。


IP属地:江西来自iPhone客户端1楼2024-03-01 16:56回复
    不需要,直接把参数规模扩大到100万亿所有问题会自行解决


    IP属地:浙江来自iPhone客户端2楼2024-03-01 23:54
    回复
      帮顶


      IP属地:四川来自Android客户端4楼2024-07-05 15:38
      回复
        大模型啥时不能分清教科书级知识,,知识时间线,科学前沿探索,新闻谣言,小说,胡说等她永远是幻觉。


        IP属地:陕西来自Android客户端5楼2024-07-24 02:29
        回复
          深度思考模式!想多了,目前的集成电路和“大模型代码”还停留在玩数据库整理归类阶段,这样定义不是开玩笑,这是事实。
          就那个“神经网络”--内存数据整理优化 这项技术有点进步,现在的所谓大模型就是靠这个“神经网络--新数据整理”加硬件来装装笔了。
          当然,最终的人工智能必定是:感知模块--逻辑模块--数据模块,感知模块和数据模块比较初级先玩好这两个,玩精了估计还真能把逻辑模块给弄出来了,不过到那时这三个模块结合在一起了往后如何发展就没人类什么事了。


          IP属地:广西6楼2024-07-24 10:50
          收起回复