太空探索技术公司吧 关注:7,556贴子:349,510
  • 13回复贴,共1

百万亿参数量的大模型足以超越任何人类的认知能力

只看楼主收藏回复

模型的每个权重参数均可视为一个突触连接,百万亿参数量的模型就能达到人脑突触连接的数量级,理论上可以学到人脑能学到的所有结构,其认知能力也由于硅基系统拥有秒杀人脑的速度而碾压人类。
具体来看,百万亿参数的大模型将拥有学会人脑能学会的一切复杂的思考模式,这种复杂的思考模式意味着大模型将拥有很强的策略形成、评估、规划能力,这些能力将使得大模型拥有极好的思维广度和深度,并且在不断的学习思考过程中沉淀深刻的直觉。
需要注意的是,要训练好这么大的模型必须要有足够多优质的数据用来训练网络的初始化参数,可以简单理解为泛读学习简单的、相对短程的序列结构。之后要专门训练模型精读的能力,也即训练模型学习数学和物理知识,这需要专业人员参与标注,帮助模型学会数学和物理里蕴含的深层次的思维。
还要注意到,人类一切的所谓意义都是围绕序列自守现象来构建的,也即所有的认知形成都是以序列自守现象为中心的。另外语言符号能表达的内容总是依赖于模型自身所拥有的结构积累,有句话叫懂的自然懂很好的说明了语言符号能够传递的信息或者说能表达的内容含义因模型而异。
最后不管是拉姆齐理论描述的秩序与混沌的分野还是分形理论描述的无限放缩视角下的结构无限变化,也许一切都是很自然的产生又很自然的消失,世界是不是神创似乎不再有意义


IP属地:江西来自iPhone客户端1楼2024-03-17 12:56回复
    根据Hontin 博士的说法,AI的学习效率远超人类,如果达到人类的神经密度,会诞生超级智能。


    IP属地:山东来自iPhone客户端2楼2024-03-17 13:59
    收起回复
      想多了,人类真正的计算能力是远超这些玩意的,只不过大多数人的潜能因为社会分工处于抑制状态。
      还是那句话:AI可能已经足够聪明到毁灭人类了,但还没有足够聪明到创造新世界。


      IP属地:广东来自Android客户端3楼2024-03-17 15:36
      收起回复
        百万亿参数量的大模型能耗估计大的吓人


        IP属地:广东4楼2024-03-17 23:44
        回复
          补充一点:rlhf是被动强化学习,应该还要引入一种主动强化学习机制,可能q*就是这种机制?另外就是要外挂一个rag支配的cot库用于强行记住一些知识或者方法,后续可以定期将库中重要的部分更新到大模型里


          IP属地:江西来自iPhone客户端5楼2024-03-18 11:36
          收起回复
            AI主要的优势是接收信息的能力快,人类阅读一本书要一天,AI不到1秒,哪怕只达到和一般人智力相当的水平,应用起来也是相当的恐怖。


            IP属地:北京来自Android客户端6楼2024-04-29 17:51
            回复
              百亿参数的男人足以满足你的亩和老婆十辈子


              IP属地:江苏来自Android客户端7楼2024-07-04 20:25
              回复