开源历程（多次升级）
- 6/7 InternLM
- 7/6 InternLM升级且全面开源免费商用；InternLM-7B模型；全链路开源工具体系
- 8/14 书生·万卷 1.0 语料库发布
- 8/21 InternLM-Chat-7B v1.1发布；Lagent开源智能体框架
- 8/28 InternLM升级123B参数
- 9/20 internLM-20B开源
书生·浦语大模型系列
- InterLM-7B: 轻量级 - 低成本最佳模型
- InternLM-20B：中量级 - 平衡能力与代价，适合商业场景
- InternLM-123B：重量级 - 通用LLM模型
书生·浦语20B开源大模型性能领先相近量级的开源模型（Llama-33B, Llama2-13B, Llama2-13B），能够以不足三分之一的参数量，达到Llama2-70B水平
模型到应用，当中存在gap，需要借用工具和框架来完成
-
应用：智能客服，个人助手，行业应用
-
流程图
- 业务场景简单，如通用对话，直接将模型拿过来，运用prompt engineering接入业务场景
- 部分微调，如LoRA
- 需要交互：调用外部API，或与数据库交互 → 需要智能体
- 模型评测通过则上线，评测不通过需要在之前的微调中做迭代
- 模型部署问题：最少的资源来增加吞吐量
全链条开源开放体系
- 数据：书生·万卷 1.0 - 多模态语言库，含有2TB数据，涵盖多种模态与任务
- 数据类型：文本数据（>1TB），图像-文本数据集（>140GB），视频数据（>900GB）
- 特点：多模态融合且多领域，精细化处理（数据预处理技术），价值观对齐（合法合规）
- 开放的数据平台：OpenDatalab - 5400多个数据集，还有智能标注工具
- 预训练：InternLM-Train - 并行训练和优化，加快了训练效率
- 高可拓展，领先于社区内其他开源框架
- 极致性能优化 - Hybrid Zero技术
- 兼容主流 - HuggingFace
- 开箱即用 - 修改配置即可训练
- 微调：XTuner - 支持全参数微调，也只是LoRA等低成本微调
-
大语言模型的下游应用中，增量续训和有监督微调是常用的2种方式：
-
增量续训：让基座模型学习到一些新知识，比如某些垂类领域知识。训练数据：书籍、文章、代码等，格式与与训练数据一致
-
有监督微调：让模型学会理解和遵循各种指令，或者注入少量的领域知识。训练数据：高质量的对话、问答数据。数据量比增量续训小
- 全量参数微调
- 部分参数微调：将预训练权重固定，引入新的可训练参数。可节省预训练代价
-
-
XTuner - 高效微调架构
- 不同的微调算法有不同的显存消耗
-
- 部署：LMDeploy - 全链路部署流程，性能领先
-
部署的问题和挑战
-
为了解决部署中的问题，提出了LMDeploy - 大模型在GPU上部署的解决方案，还有轻量化、推理和服务
- 接口：Python, gRPC, RESTful
- 轻量化：4bit权重， 8bit k/v
- 推理引擎：turbomind, pytorch
- 服务：openai-server, gradio, triton inference server
-
推理性能
- 静态：固定batch，输入/输出token数量，评测整体吞吐量
- 动态：真实对话，不定长的输入/输出，评测请求的吞吐量
-
- 评测：OpenCompass - 全方位评测
-
国内外评测体系态势：HELM, FlagEval, MMLU, Alpaca Eval, SuperCLUE, OpenLLM Learderboard
- 现有的评测体系不能够满足大模型的发展
-
OpenCompass: 6个维度，80多评测集
- 亮点：丰富的模型支持，分布式高效评测，便捷的数据集接口，敏捷的能力迭代，更新大模型能力榜单，用户遍及国内外知名企业与科研机构
-
- 应用：Lagent和AgentLego - Lagent轻量级智能体搭建，AgentLego提供了大模型调用的工具箱和工具接口，包括视觉和多模态模型，方便调用
-
大语言模型的局限性：
- 最新信息和知识的获取
- 回复的可靠性
- 数学计算
- 工具使用和交互
-
解决：搭建智能体框架
- 智能体：以大语言模型为核心，进行规划、推理、执行
-
轻量级智能体框架 Lagent - 主要是搭建框架
- 支持多种类型的智能体能力，有不同的智能体调用流程
- 灵活支持多种大语言模型
- 例子：代码解数学题；零样本泛化：多模态AI工具使用
-
多模态智能体工具箱 AgentLego - 聚焦在调用工具集合
-