LLM
本地部署
使用 ollama
模型页 https://ollama.com/library
Ollama 使用
# 在命令行交互式运行某个模型
ollama run <modal>
# 启用服务,用于提供 API 访问
export OLLAMA_HOST=0.0.0.0:11434
ollama run serve
shAI Agent
LLM 充当 Agent 的大脑,可以对任务进行拆分,并通过工具(调用 API)获取模型权重中缺失的额外信息。
现有项目:AutoGPT
Prompt 工程
MCP
工具
LLama Factory 模型微调
https://ai.mmh1.top/#/ai-tutorial
训练参数
- 学习率: 每次更新时参数调整的幅度
- 训练轮数(Epochs):太少学不会,太过过拟合
- 批量大小:每次更新模型参数时所使用的样本数量
- 梯度累积步数:累积多少步后进行参数更新
- LoRA 秩: