Files
karuo-ai/运营中枢/工作台/本地小模型详细配置.md

5.5 KiB
Raw Permalink Blame History

本机本地小模型详细配置

汇总自 Ollama、OpenClaw、卡若AI 火种本地模型 / 木叶视频切片 等配置。更新2026-03-06


、ClawX 本地模型确定性验证(可直接使用)

在卡若AI 目录下执行以下命令,可确定性地验证 ClawX 能否用本地模型操作(网关 + Ollama + 实际生成):

bash 运营中枢/工作台/scripts/ensure_clawx_available.sh

通过条件:输出出现 [OK] 网关[OK] Ollama[OK] 本地模型 qwen2.5:3b 生成正常(已实测)。三项均 OK 即表示可直接在 ClawX 对话中使用本地模型,默认主模型为 ollama/qwen2.5:3b(配置在 ~/.openclaw/openclaw.json)。


一、Ollama 运行时

可执行文件 /usr/local/bin/ollama
数据目录 ~/.ollama(含 models、logs
服务地址 http://localhost:11434
常用接口 /api/chat(对话)、/api/generate(续写)、/api/embeddings(向量)

二、本机已安装的模型ollama list

模型名 大小 修改时间 用途
nomic-embed-text:latest 274 MB 约 11 天前 嵌入/语义搜索RAG
qwen2.5:3b 1.9 GB 约 2 周前 对话/高光识别(视频切片主力)
qwen2.5:1.5b 986 MB 约 2 周前 轻量对话、代码辅助、摘要

说明SKILL 文档中提到的 qwen2.5:0.5b 当前未在本机安装;若需使用可执行 ollama pull qwen2.5:0.5b


三、卡若AI 火种 · 本地模型 SDKlocal_llm_sdk

路径04_卡火/火种_知识模型/本地模型/脚本/local_llm_sdk.py
入口运营中枢/local_llm 再转发到上述脚本。

3.1 服务与模型常量

常量
OLLAMA_URL http://localhost:11434
MODELS lightqwen2.5:0.5bstandardqwen2.5:1.5bembednomic-embed-text
CPU_TARGET 30%
MAX_CONCURRENT_REQUESTS 2
REQUEST_INTERVAL 0.5 秒
MAX_INPUT_LENGTH 4000 字符

3.2 任务 → 模型映射TASK_MODEL_MAP

任务类型 选用档位 对应 Ollama 模型
summarize、extract、classify、translate_short、generate_questions、quick_answer light qwen2.5:0.5b
analyze、code_explain、write_draft、task_breakdown、complex_qa standard qwen2.5:1.5b
embed、similarity、search embed nomic-embed-text

3.3 对外能力

  • summarizeextract_infoclassifygenerate_questionsanalyze_taskwrite_draftsemantic_searchcheck_service
  • get_usage_notice_textformat_response_with_notice(使用提醒)

四、木叶 · 视频切片(高光识别)

脚本03_卡木/木叶_视频内容/视频切片/脚本/identify_highlights.py

OLLAMA_URL http://localhost:11434
OLLAMA_MODELS优先级顺序 ["qwen2.5:3b", "qwen2.5:1.5b"]
默认调用模型 qwen2.5:3b
接口 POST {OLLAMA_URL}/api/chat(带 system + usertemperature=0.2num_predict=8192

逻辑:先尝试云端 APIOPENAI_API_BASES/KEYS/MODELS 等),失败再按顺序试 Ollama 上列模型,再不行则规则兜底。


五、木叶 · 章节主题转高光chapter_themes_to_highlights

脚本03_卡木/木叶_视频内容/视频切片/脚本/chapter_themes_to_highlights.py

OLLAMA_URL http://localhost:11434
OLLAMA_MODELS ["qwen2.5:7b", "qwen2.5:1.5b"]

说明:本机未安装 qwen2.5:7b,实际会落到 qwen2.5:1.5b;若需 7b 可 ollama pull qwen2.5:7b


六、OpenClaw / ClawX 中的本地模型

配置文件~/.openclaw/openclaw.json

6.1 认证配置auth.profiles

"ollama:local": {
  "provider": "ollama",
  "mode": "api_key"
}

6.2 默认 Agent 模型agents.defaults.model

  • primaryollama-ollama/qwen3:laster(当前 ~/.openclaw/openclaw.json 中的实际值;若本机未安装 qwen3:lasterollama pull qwen3:latest 或改为已安装模型如 ollama/qwen2.5:3b
  • fallbacks[]

即 OpenClaw/ClawX 对话默认走本机 Ollama当前指向 qwen3:laster。

6.3 云端模型models.providers

当前还配置了 custom-custom21v0 API作为云端备选与本地 Ollama 并存。


七、其他引用

位置 说明
soul_enhance.py 固定使用 http://localhost:11434/api/generate
土渠 · 手机流量自动操作 SKILL 示例命令 ollama run qwen2.5:1.5b
本地模型 SKILLCursor 隧道) 启动脚本可配 OLLAMA_HOST=0.0.0.0:11434、Cloudflare 隧道供 Cursor 用本地模型

八、配置汇总表(便于查阅)

配置项
Ollama 服务地址 http://localhost:11434
已安装对话/续写模型 qwen2.5:3b、qwen2.5:1.5b
已安装嵌入模型 nomic-embed-text:latest
火种 SDK 轻量/标准/嵌入 qwen2.5:0.5b / qwen2.5:1.5b / nomic-embed-text0.5b 未装则 light 会失败)
视频高光识别默认 qwen2.5:3b备选 qwen2.5:1.5b
OpenClaw 默认 Agent ollama-ollama/qwen3:laster以 openclaw.json 为准)
资源控制(火种) 并发 2、间隔 0.5s、CPU 目标 30%、最大输入 4000 字

文档由卡若AI 根据本机 Ollama、openclaw.json、local_llm_sdk、identify_highlights、chapter_themes_to_highlights 等自动汇总。