public:it:llm

差别

这里会显示出您选择的修订版和当前版本之间的差别。

到此差别页面的链接

后一修订版
前一修订版
public:it:llm [2024/11/19 09:45] – 创建 oakfirepublic:it:llm [2024/11/19 13:56] (当前版本) – [Ollama] oakfire
行 3: 行 3:
  
 ===== 本地部署 ===== ===== 本地部署 =====
-  * [[https://ollama.com/|Ollama]]+==== Ollama ==== 
 + 
 +  * [[https://ollama.com/|Ollama 官网]] 
 +  * [[https://github.com/ollama/ollama/| github repo]] 
 +  * 支持的大模型列表:https://ollama.com/library 
 +  * [[https://mp.weixin.qq.com/s/majDONtuAUzN2SAaYWxH1Q|博客:介绍和使用]] 
 +=== 环境变量设置 === 
 +  * windows 修改环境变量后,需要把 ollama app 杀掉重启才能生效,右下角图标可以退出,然后cmd命令行就可以自动启动。 
 +  * **OLLAMA_MODELS**:模型文件存放目录,默认目录为当前用户目录(Windows 目录:C:\Users%username%.ollama\models,MacOS 目录:~/.ollama/models,Linux 目录:/usr/share/ollama/.ollama/models),如果是 Windows 系统建议修改(如:D:\OllamaModels),避免 C 盘空间吃紧 
 +  * **OLLAMA_HOST**:Ollama 服务监听的网络地址,默认为127.0.0.1,如果允许其他电脑访问 Ollama(如:局域网中的其他电脑),建议设置成0.0.0.0,从而允许其他网络访问 
 +  * **OLLAMA_PORT**:Ollama 服务监听的默认端口,默认为**11434**,如果端口有冲突,可以修改设置成其他端口(如:8080等) 
 +  * **OLLAMA_ORIGINS**:HTTP 客户端请求来源,半角逗号分隔列表,若本地使用无严格要求,可以设置成星号,代表不受限制 
 +  * **OLLAMA_KEEP_ALIVE**:大模型加载到内存中后的存活时间,默认为5m即 5 分钟(如:纯数字如 300 代表 300 秒,0 代表处理请求响应后立即卸载模型,任何负数则表示一直存活);我们可设置成24h,即模型在内存中保持 24 小时,提高访问速度 
 +  * **OLLAMA_NUM_PARALLEL**:请求处理并发数量,默认为1,即单并发串行处理请求,可根据实际情况进行调整 
 +  * **OLLAMA_MAX_QUEUE**:请求队列长度,默认值为512,可以根据情况设置,超过队列长度请求被抛弃 
 +  * **OLLAMA_DEBUG**:输出 Debug 日志标识,应用研发阶段可以设置成1,即输出详细日志信息,便于排查问题 
 +  * **OLLAMA_MAX_LOADED_MODELS**:最多同时加载到内存中模型的数量,默认为1,即只能有 1 个模型在内存中 
 +=== 使用 === 
 +  * ''ollama help'' 
 +  * 本地大模型列表:''ollama list'' 
 +  * 下载或者更新本地大模型:''ollama pull <llm-name>'' 
 +  * 运行模型:''ollama run <llm-name>'' 
 +  * 查看运行中模型列表:''ollama ps'' 
 +  * WEB UI:[[https://github.com/ollama-webui/ollama-webui-lite|ollama-webui]] 
 +  * 也可用第三方应用客户端:比如 [[https://chatboxai.app/zh|chatbox]] 
  • public/it/llm.1731980706.txt.gz
  • 最后更改: 2024/11/19 09:45
  • oakfire