public:it:llm

差别

这里会显示出您选择的修订版和当前版本之间的差别。

到此差别页面的链接

两侧同时换到之前的修订记录 前一修订版
后一修订版		 前一修订版
public:it:llm [2024/11/19 09:46] – [本地部署] oakfirepublic:it:llm [2024/11/19 13:56] (当前版本) – [Ollama] oakfire
行 5: 行 5:
 ==== Ollama ==== ==== Ollama ====
  
-  * [[https://ollama.com/|Ollama]], [[https://github.com/ollama/ollama/| gh repo]]+  * [[https://ollama.com/|Ollama 官网]] 
 +  * [[https://github.com/ollama/ollama/| github repo]] 
 +  * 支持的大模型列表：https://ollama.com/library 
 +  * [[https://mp.weixin.qq.com/s/majDONtuAUzN2SAaYWxH1Q|博客：介绍和使用]] 
 +=== 环境变量设置 === 
 +  * windows 修改环境变量后，需要把 ollama app 杀掉重启才能生效，右下角图标可以退出，然后cmd命令行就可以自动启动。 
 +  * **OLLAMA_MODELS**：模型文件存放目录，默认目录为当前用户目录（Windows 目录：C:\Users%username%.ollama\models，MacOS 目录：~/.ollama/models，Linux 目录：/usr/share/ollama/.ollama/models），如果是 Windows 系统建议修改（如：D:\OllamaModels），避免 C 盘空间吃紧 
 +  * **OLLAMA_HOST**：Ollama 服务监听的网络地址，默认为127.0.0.1，如果允许其他电脑访问 Ollama（如：局域网中的其他电脑），建议设置成0.0.0.0，从而允许其他网络访问 
 +  * **OLLAMA_PORT**：Ollama 服务监听的默认端口，默认为**11434**，如果端口有冲突，可以修改设置成其他端口（如：8080等） 
 +  * **OLLAMA_ORIGINS**：HTTP 客户端请求来源，半角逗号分隔列表，若本地使用无严格要求，可以设置成星号，代表不受限制 
 +  * **OLLAMA_KEEP_ALIVE**：大模型加载到内存中后的存活时间，默认为5m即 5 分钟（如：纯数字如 300 代表 300 秒，0 代表处理请求响应后立即卸载模型，任何负数则表示一直存活）；我们可设置成24h，即模型在内存中保持 24 小时，提高访问速度 
 +  * **OLLAMA_NUM_PARALLEL**：请求处理并发数量，默认为1，即单并发串行处理请求，可根据实际情况进行调整 
 +  * **OLLAMA_MAX_QUEUE**：请求队列长度，默认值为512，可以根据情况设置，超过队列长度请求被抛弃 
 +  * **OLLAMA_DEBUG**：输出 Debug 日志标识，应用研发阶段可以设置成1，即输出详细日志信息，便于排查问题 
 +  * **OLLAMA_MAX_LOADED_MODELS**：最多同时加载到内存中模型的数量，默认为1，即只能有 1 个模型在内存中 
 +=== 使用 === 
 +  * ''ollama help'' 
 +  * 本地大模型列表：''ollama list'' 
 +  * 下载或者更新本地大模型：''ollama pull <llm-name>'' 
 +  * 运行模型：''ollama run <llm-name>'' 
 +  * 查看运行中模型列表：''ollama ps'' 
 +  * WEB UI：[[https://github.com/ollama-webui/ollama-webui-lite|ollama-webui]] 
 +  * 也可用第三方应用客户端：比如 [[https://chatboxai.app/zh|chatbox]] 
  • public/it/llm.1731980766.txt.gz
  • 最后更改: 2024/11/19 09:46
  • 由 oakfire