大模型-概念-扫盲贴（持续更新）

• Agent 是什么，直译过来就是代理，但在国内人工智能领域通常被译为智能体。大模型大大降低了智能体实现的门槛

• 智能体 = 推理 + 生成 + 工具调用

• Prompt 是给予提供语言模型（LLM）的输入或查询，作为模型生成后续文本的起点或上下文，它指示模型应生成何种类型的响应或输出。

• LLM（Large Language Model）即大型语言模型，是近年来人工智能领域的重要技术突破。基于深度学习技术的自然语言处理工具，能理解和生成文本。

• Transformer架构，利用自注意力机制捕捉上下文关联

• GPT（Generative Pretrained Transformer）和 BERT（Bidirectional Encoder Representations from Transformers）这两个词中的 T 就是 Transformer 架构。Transformer 架构是一种基于自注意力机制的神经网络结构，它完全颠覆了之前以循环神经网络（RNN）为主导的序列建模范式。Transformer 架构的出现，实现了并行计算和高效的上下文捕获，极大地提高了自然语言处理的性能。可以说，先有 Transformer，后有 GPT 以及 BERT。 常见模型中的 7B,14B，32B...等参数 B 是 Billion 的缩写，指的是模型训练的参数数量。

• OpenManus是Manus的开源版本

• Ollama 是一个开源的框架，旨在简化大型语言模型的部署和管理。它提供了一个轻量级的 HTTP 服务，允许用户通过 API 接口与模型进行交互。 Ollama 默认开放 11434 端口，且无任何鉴权机制。

• vLLM 是一个专为大语言模型（LLMs）设计的高效推理库，旨在优化推理速度和内存使用。

• Xinference 是针对生成式 AI 场景度身定制的能力全面的推理服务平台。

• Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。

• AIGC，即人工智能生成内容（Artificial Intelligence Generated Content），是一种利用人工智能算法和技术自动生成各种形式的内容的技术。
  AIGC产品：
  文本生成：OpenAI GPT系列、Google BERT系列、Anthropic Claude、Alibaba Qwen、Microsoft Copilot。图像生成：DALL-E、Midjourney、Stable Diffusion、DeepArt、RunwayML。音频生成：Jukebox、WaveNet、MusicGen、Amper Music、Descript。视频生成：DeepMind VideoGen、RunwayML Video、Daz 3D、Synthesia、Adobe After Effects with AI Plugins，Sora,runway。其他应用：Adobe Firefly、Notion AI、GitHub Copilot、Replit AI、Grammarly。

• RAG（Retrieval Augmented Generation）检索增强生成，即大模型LLM在回答问题或生成文本时，会先从大量的文档中检索出相关信息，然后基于这些检索出的信息进行回答或生成文本，从而可以提高回答的质量，而不是任由LLM来发挥。

MCP
MCP（Model Context Protocol，模型上下文协议） 是由 Anthropic 推出的一种开放标准，旨在统一大型语言模型（LLM）与外部数据源和工具之间的通信协议。MCP 的主要目的在于解决当前 AI 模型因数据孤岛限制而无法充分发挥潜力的难题，MCP 使得 AI 应用能够安全地访问和操作本地及远程数据，为 AI 应用提供了连接万物的接口。 

模型蒸馏（Model Distillation）：是一种模型压缩和知识迁移的技术，旨在将一个大型、复杂且性能优异的教师模型（Teacher Model）中的知识传递给一个较小、计算效率更高的学生模型（Student Model），将复杂且大的模型作为Teacher，Student模型结构较为简单，用Teacher来辅助Student模型的训练，Teacher学习能力强，可以将它学到的知识迁移给学习能力相对弱的Student模型，以此来增强Student模型的泛化能力，复杂笨重但是效果好的Teacher模型不上线，就单纯是个导师角色，真正部署上线进行预测任务的是灵活轻巧的Student小模型。

• Embedding模型
  Embedding: 这是一个通用术语，指的是将数据（可以是词、句子、图像等）转换成数值向量形式的过程。这些向量捕捉了数据的某些特征或属性，使得机器学习算法能够处理。可以应用于多种类型的数据，不仅限于文本，还可以是图像、声音等，而词嵌入特指文本中的单词或短语的嵌入。 Embedding 通常指将高维度的数据映射到低维度的空间中 。
  

强烈推荐：

https://mp.weixin.qq.com/s/nr8QEjMJo0SbyCduDehoMw
https://mp.weixin.qq.com/s/rkEiac1zbSjHL1U5AIJzZA