几天前看到了池老师分享的谷歌的提示工程白皮书:

这两天特意花时间学习了下,但是很遗憾,以我现在对大模型的理解,我看完后只能做一些笔记,写不出一个有观点性的文章。

但是我看完确实有挺多问题的:

  1. 这些提示技术是怎么想到的?有没有什么系统性的思考可以一下子列举这个世界上所有可能的提示技术?我知道这些提示技术并不是一个人的智慧,而是世界上不同的人,不同的学术背景,不同的教育背景,不同的工作背景的人拼凑出来的,真正有用的东西才会被大家认可,变成了主流的提示技术,但是我现在的问题是,我作为个体,是否可以掌握一个系统化的思考,通过一个人的智慧去把这些提示技术全部的尽可能的列举出来,有没有这种可能?

  2. temperature控制输出文本的随机性,这个概念很像物理学的分子热效应,类比一下可以很好理解temperature对输出结果的控制,温度高一点,分子运动越剧烈,越随机,说明文本的分布概率越均匀,都差不多,那原来概率低的就多了些可能被选中;温度低一点,分子运动越缓慢,文本的分布概率基本不变,输出的就是那个高概率的token。但是为什么是加在softmax函数上,而且作为分母?

  3. 采样分布提示工程:温度控制做宏观控制,top k, top p做微观控制

    1. 通用提示2. zero-shot3. one-shot4. few shot5. 系统提示、上下文提示、角色提示6. 回退提示7. 思维链8. 自洽提示技术9. 思维树10. reAct推理与行动11. 自动提示工程—这些提示工程技术有什么共性,体现了大模型什么核心特质:模式识别吗
  4. 提示工程、RAG、KAG、MCP、AGENTS、F还有那个联网技术,这些技术有一个共同点:利用流程化、自动化和工程化的方式获取和设计大模型上下文,除了这些技术,我们现在的技术还缺少什么?