大模型实战营-L0-04-HF/魔搭/魔乐社区

https://huggingface.co/internlm/internlm2_5-1_8b

# 安装transformers
pip install transformers==4.38
pip install sentencepiece==0.1.99
pip install einops==0.8.0
pip install protobuf==5.27.2
pip install accelerate==0.33.0

touch hf_download_josn.py

import os
from huggingface_hub import hf_hub_download

# 指定模型标识符
repo_id = "internlm/internlm2_5-7b"

# 指定要下载的文件列表
files_to_download = [
    {"filename": "config.json"},
    {"filename": "model.safetensors.index.json"}
]

# 创建一个目录来存放下载的文件
local_dir = f"{repo_id.split('/')[1]}"
os.makedirs(local_dir, exist_ok=True)

# 遍历文件列表并下载每个文件
for file_info in files_to_download:
    file_path = hf_hub_download(
        repo_id=repo_id,
        filename=file_info["filename"],
        local_dir=local_dir
    )
    print(f"{file_info['filename']} file downloaded to: {file_path}")

**总体信息**

- **`architectures`**: 指定模型的架构类型，此处为 `InternLM2ForCausalLM`，表明这是一个 InternLM2 系列的因果语言模型（Causal Language Model）。
- **`model_type`**: 表示模型的类型为 `internlm2`，与架构保持一致。

---

### **模型结构**

- **`hidden_size`**: 每一层的隐藏状态向量的维度（4096）。这是模型内部表示信息的维度大小。
- **`num_hidden_layers`**: 总共有 32 层 Transformer 模块，决定了模型的深度。
- **`num_attention_heads`**: 每层有 32 个注意力头，用于捕捉不同的上下文特征。
- **`intermediate_size`**: 前馈网络中间层的维度（14336），通常比 `hidden_size` 大，影响计算能力和表达能力。
- **`num_key_value_heads`**: 每层中用于键值对的注意力头数（8）。这是多头注意力机制的一个细分策略。

---

### **注意力机制**

- **`attn_implementation`**: 表示使用的是 `eager` 模式的注意力机制实现，可能用于优化性能。
- **`rope_scaling`** 和 **`rope_theta`**:
    - **`rope_scaling`**: 定义了相对位置编码（RoPE，Rotary Position Embedding）的动态缩放策略，这里是 `dynamic`，表示支持扩展到更长的上下文。
    - **`rope_theta`**: 控制旋转位置编码的周期（50000000），通常用于处理长序列任务。
- **`max_position_embeddings`**: 最大支持的输入序列长度（262144），表明模型可以处理非常长的上下文。

---

### **模型权重和初始化**

- **`initializer_range`**: 权重初始化范围（0.02），控制模型初始时的参数分布。
- **`bias`**: 如果为 `false`，表示模型中没有使用偏置（bias）参数。
- **`tie_word_embeddings`**: 是否将输入和输出的词嵌入层共享，`false` 表示不共享。

---

### **训练与推理**

- **`torch_dtype`**: 指定模型在推理时使用的张量数据类型（`bfloat16`），比 `float32` 更高效，且精度损失较小。
- **`use_cache`**: 如果为 `true`，表明在推理时会缓存注意力的中间结果以加速生成。
- **`rms_norm_eps`**: 均方根归一化（RMSNorm）的最小值（1e-5），用于保持数值稳定。

---

### **词汇与标记**

- **`vocab_size`**: 模型词表的大小（92544），表示支持的词或标记数量。
- **`bos_token_id`** 和 **`eos_token_id`**: 特殊标记，分别表示句子的起始和结束。
- **`pad_token_id`**: 用于填充的特殊标记 ID（2）。

---

### **版本与映射**

- **`auto_map`**: 定义了该模型如何与 Hugging Face Transformers 库中的 `AutoModel` 和 `AutoConfig` 自动加载接口映射。
- **`transformers_version`**: 指定兼容的 Transformers 库版本（4.41.0）。

---

### **总结**

这些参数通常用于配置一个基于 Transformer 架构的预训练语言模型，例如 InternLM2。其主要用途包括：

- 文本生成（如对话生成、文章续写）
- 问答系统
- 自然语言理解任务（如分类、摘要）

这个模型的高参数量和对长上下文的支持（262144 长度）表明，它特别适合处理需要广泛上下文依赖的任务。

touch hf_download_1_8_demo.py

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("internlm/internlm2_5-1_8b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("internlm/internlm2_5-1_8b", torch_dtype=torch.float16, trust_remote_code=True)
model = model.eval()

inputs = tokenizer(["A beautiful flower"], return_tensors="pt")
gen_kwargs = {
    "max_length": 128,
    "top_p": 0.8,
    "temperature": 0.8,
    "do_sample": True,
    "repetition_penalty": 1.0
}

# 以下内容可选，如果解除注释等待一段时间后可以看到模型输出
output = model.generate(**inputs, **gen_kwargs)
output = tokenizer.decode(output[0].tolist(), skip_special_tokens=True)
print(output)

A beautiful flower is in the shape of a right circular cone. The radius of the base of the cone is 8 cm and the height of the cone is 12 cm. The cone is painted red. A small paintbrush can only paint a small circular area on the cone. How many paintbrushes are needed to paint the entire cone?

The area of the base of the cone is $8^2\pi = 64\pi$ . The area of the entire cone is $\frac{1}{3}\pi(12^2)(64) = 4096\pi$ .

# 激活环境
conda activate /root/share/pre_envs/pytorch2.1.2cu12.1

# 安装 modelscope
pip install modelscope -t /root/env/maas
pip install numpy==1.26.0  -t /root/env/maas
pip install packaging -t /root/env/maas

export PATH=$PATH:/root/env/maas/bin
export PYTHONPATH=/root/env/maas:$PYTHONPATH

mkdir -p /root/ms_demo

modelscope download \
    --model 'Shanghai_AI_Laboratory/internlm2_5-7b-chat' \
    tokenizer.json config.json model.safetensors.index.json \
    --local_dir '/root/ms_demo'

cd /
mkdir ml_demo
cd ml_demo

# 确保安装git-lfs 保证大文件的正常下载
apt-get install git-lfs
git lfs install
# clone 仓库
git clone https://modelers.cn/Intern/internlm2_5-1_8b-chat.git

# 确保按指南安装好openmind后
from openmind import AutoModel
model = AutoModel.from_pretrained("Intern/internlm2_5-1_8b-chat", trust_remote_code="True")