miller
发布于

大模型-概念-扫盲贴(持续更新)

  • Agent 是什么,直译过来就是代理,但在国内人工智能领域通常被译为智能体。大模型大大降低了智能体实现的门槛

  • 智能体 = 推理 + 生成 + 工具调用

  • Prompt 是给予提供语言模型(LLM)的输入或查询,作为模型生成后续文本的起点或上下文,它指示模型应生成何种类型的响应或输出。

  • LLM(Large Language Model)即大型语言模型,是近年来人工智能领域的重要技术突破。基于深度学习技术的自然语言处理工具,能理解和生成文本。

  • Transformer架构,利用自注意力机制捕捉上下文关联

  • GPT(Generative Pretrained Transformer)和 BERT(Bidirectional Encoder Representations from Transformers)这两个词中的 T 就是 Transformer 架构。Transformer 架构是一种基于自注意力机制的神经网络结构,它完全颠覆了之前以循环神经网络(RNN)为主导的序列建模范式。Transformer 架构的出现,实现了并行计算和高效的上下文捕获,极大地提高了自然语言处理的性能。可以说,先有 Transformer,后有 GPT 以及 BERT。 常见模型中的 7B,14B,32B...等参数 B 是 Billion 的缩写,指的是模型训练的参数数量。

  • OpenManus是Manus的开源版本

  • Ollama 是一个开源的框架,旨在简化大型语言模型的部署和管理。它提供了一个轻量级的 HTTP 服务,允许用户通过 API 接口与模型进行交互。 Ollama 默认开放 11434 端口,且无任何鉴权机制。

  • vLLM 是一个专为大语言模型(LLMs)设计的高效推理库,旨在优化推理速度和内存使用。

  • Xinference 是针对生成式 AI 场景度身定制的能力全面的推理服务平台。

  • Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用。

  • AIGC,即人工智能生成内容(Artificial Intelligence Generated Content),是一种利用人工智能算法和技术自动生成各种形式的内容的技术。
    AIGC产品:
    文本生成:OpenAI GPT系列、Google BERT系列、Anthropic Claude、Alibaba Qwen、Microsoft Copilot。图像生成:DALL-E、Midjourney、Stable Diffusion、DeepArt、RunwayML。音频生成:Jukebox、WaveNet、MusicGen、Amper Music、Descript。视频生成:DeepMind VideoGen、RunwayML Video、Daz 3D、Synthesia、Adobe After Effects with AI Plugins,Sora,runway。其他应用:Adobe Firefly、Notion AI、GitHub Copilot、Replit AI、Grammarly。

  • RAG(Retrieval Augmented Generation)检索增强生成,即大模型LLM在回答问题或生成文本时,会先从大量的文档中检索出相关信息,然后基于这些检索出的信息进行回答或生成文本,从而可以提高回答的质量,而不是任由LLM来发挥。

MCP
MCP(Model Context Protocol,模型上下文协议) 是由 Anthropic 推出的一种开放标准,旨在统一大型语言模型(LLM)与外部数据源和工具之间的通信协议。MCP 的主要目的在于解决当前 AI 模型因数据孤岛限制而无法充分发挥潜力的难题,MCP 使得 AI 应用能够安全地访问和操作本地及远程数据,为 AI 应用提供了连接万物的接口。 

模型蒸馏(Model Distillation):是一种模型压缩和知识迁移的技术,旨在将一个大型、复杂且性能优异的教师模型(Teacher Model)中的知识传递给一个较小、计算效率更高的学生模型(Student Model),将复杂且大的模型作为Teacher,Student模型结构较为简单,用Teacher来辅助Student模型的训练,Teacher学习能力强,可以将它学到的知识迁移给学习能力相对弱的Student模型,以此来增强Student模型的泛化能力,复杂笨重但是效果好的Teacher模型不上线,就单纯是个导师角色,真正部署上线进行预测任务的是灵活轻巧的Student小模型。

  • Embedding模型
    Embedding: 这是一个通用术语,指的是将数据(可以是词、句子、图像等)转换成数值向量形式的过程。这些向量捕捉了数据的某些特征或属性,使得机器学习算法能够处理。可以应用于多种类型的数据,不仅限于文本,还可以是图像、声音等,而词嵌入特指文本中的单词或短语的嵌入。 Embedding 通常指将高维度的数据映射到低维度的空间中 。

强烈推荐:

https://mp.weixin.qq.com/s/nr8QEjMJo0SbyCduDehoMw
https://mp.weixin.qq.com/s/rkEiac1zbSjHL1U5AIJzZA

浏览 (21)
点赞
收藏
评论