前沿

1. 常见的模型参数及作用

   2. 温度（0-1）

      控制模型输出的随机性，决定了模型在生成下一个词时，对高概率词语的“自信”程度。

      值越低越严谨保守，适用于需要精确回答的场景；值越高模型会更多考虑低概率的词语，输出更加随机和具有创造性，适用于需要创意性的场景

   3. Top-p(核采样)（0-1）

      控制模型输出的随机性。从一个累积概率总和为 p 的词语集合中进行采样。

      top-p=0.9 意味着模型只考虑累积概率达到90%的词

      “太阳下山了，天空的颜色是___”

      词语	概率
      橙色	0.4
      粉色	0.3
      红色	0.2
      紫色	0.05
      黄色	0.03

      设置 top-p=0.8 ，排序后累加概率，当累加到粉色时超过设定值，候选集设定为橙色 粉色 红色

      3. 最大生成标记数（max tokens）

         限制模型单词回复的最大长度

   4. 停止词

      定义一个或多个字符串，当模型生成这些字符串时，会自动停止生成

   5. 重复惩罚（1.0-2.0）

      减少模型生成重复词语或短语的倾向，在生成长文本时可以避免模型陷入循环或重复

2. RAG 工作流程

   7. 数据处理
   8. 检索
   9. 增强
   10. 生成

3. Prompt Engineering

4. 编写清晰、具体的指令

  1. 使用分隔符清晰地表示输入的不同部分
  2. 寻求结构化输出
  3. 要求模型检查是否满足条件
  4. 提供少量示例

12. 给予模型充足思考时间

        1. 指定完成任务所需的步骤
        2. 指导模型在下结论之前找出一个自己的解法
    

13. rag 和 mcp 的区别

14. 让 LLM 在生成回答前，能够从外部知识库中检索相关信息，然后以此为基础进行生成。

15. 赋予 LLM 类似人类的长期记忆、自我反思的意识和任务规划能力，让它能自主地完成复杂的多步骤任务。