fnvtk/karuo-ai
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
main
karuo-ai/运营中枢/工作台/存客宝_带宽使用列表与使用日志.md

15 KiB
Raw Permalink Blame History

存客宝宝塔服务器 · 带宽使用列表与使用日志

服务器：存客宝 42.194.245.239（ins-ciyv2mxa） | 带宽：50 Mbps 公网
文档：带宽使用列表、使用日志规范、应用程序与带宽对应（卡若复盘格式）

[卡若复盘]（2026-02-03 17:00）

🎯 目标·结果·达成率
目标：建立存客宝带宽使用列表、使用日志规范、应用程序与带宽对应。结果：已产出本文档（按来源 7 项指标 + 按应用 9 类组件、日志字段与示例与三种采集方式、应用与历史现象对应、后续 P0～P3）。达成率：100%（文档与规范已就绪；实测占比待 SSH/API 白名单可用后补齐）。

📌 过程

  1. 按数据来源整理带宽/流量指标（腾讯云监控、宝塔 API GetNetWork、本机网卡/进程连接数）及获取方式。
  2. 按应用/服务整理可能占用带宽的组件（Nginx、PHP-FPM、存客宝主站/API、卡若AI 反代、MySQL、计划任务、宝塔等）及端口与流量类型。
  3. 定义使用日志字段（date / time / source / metric / value / unit / note）、示例表与三种采集方式及频率建议。
  4. 写清应用程序与带宽对应（Web/数据库/计划任务/管理）及与历史现象（14:44 入向尖峰、出向持续偏高）的对应与排查建议。
  5. 列出后续动作 P0～P3 及相关脚本与文档索引。

💡 反思

  1. 列表与日志规范一次写清，便于后续按日/周/月复盘与对账。
  2. 当前应用占比为推断，需在 SSH 或 API 白名单可用后做一次实测（进程连接数 + 网卡采样 + Nginx 按域名/URI 统计）替换。
  3. 本文档与《存客宝宝塔服务器_配置与性能优化报告》《存客宝_公网数据问题与服务器深度分析报告》形成闭环，可交叉引用。

📝 总结
存客宝 50M 带宽的「谁在用、用多少、怎么记」已形成使用列表、日志规范及应用对应；后续以实测填表与定期写入带宽使用日志为主。

▶ 下一步执行

  • P0：可登录存客宝或 API 白名单可用后，跑一次「按进程连接数 + 网卡采样 + Nginx 日志按域名/URI 统计」，用实测填表 2.2、4.x。
  • P1：建立带宽使用日志文件（如 存客宝_带宽使用日志.csv），至少每日 1 次写入腾讯云 API 或宝塔 API 采样结果。
  • P2：对 14:44 类时段做 Nginx + 防火墙 + 计划任务日志完整排查，定性入向尖峰并更新「与历史现象对应」表。
  • P3：为 ins-ciyv2mxa 配置公网出带宽/出网流量/费用告警。
  • 待跟进：运营中枢/工作台/存客宝_带宽使用日志.csv（尚未创建）；实测占比数据（依赖 SSH/白名单）。

一、带宽使用列表（两维：数据来源 + 应用/端口）

1.1 按「数据来源」的带宽/流量列表

序号 数据来源 指标项 说明 获取方式
1 腾讯云监控 外网出带宽（Mbps） 实例级，计费主要依据 控制台 → 云服务器 → 实例 → 监控；或 API GetMonitorData WanOuttraffic
2 腾讯云监控 外网入带宽（Mbps） 实例级，入向压力与异常排查 同上，入带宽指标
3 腾讯云监控 外网出流量（MB/GB） 按量计费时直接关联费用 控制台监控或账单明细
4 腾讯云监控 外网入包量（个/s） 与入带宽尖峰同步时可排查攻击/爬虫 控制台监控
5 宝塔 API 实时上行/下行（GetNetWork） 瞬时流量，无历史 脚本 存客宝_CPU与网络用量查询.py（需 API 白名单）
6 本机 网卡累计收发包（bytes） 需两次采样做差算速率 存客宝上执行 cat /proc/net/dev，或 存客宝_服务器流量与负载查询.sh
7 本机 按进程连接数（ss -tnp） 间接反映哪些进程在产生连接/可能产生流量 同上脚本「按进程 TCP 连接数 TOP」

1.2 按「应用/服务/端口」的带宽占用列表（推断）

以下为根据业务与常见部署推断的可能占用带宽的组件；实际占比需在能登录服务器后结合 Nginx 日志、进程连接数、iftop/nethogs 等做一次实测。

序号 应用/服务 类型 端口/协议 可能产生的流量 说明
1 Nginx Web 反向代理 80 / 443 (TCP) 入：请求头+体；出：HTML/API 响应、静态资源、反代响应 所有经存客宝的 HTTP(S) 都经 Nginx，出向占主导
2 PHP-FPM 动态站点 本地 socket 出：PHP 渲染后的页面、接口 JSON 存客宝主站、H5、管理端、店铺等
3 存客宝主站/API 业务 经 Nginx 出：页面、接口、图片/附件；入：表单、上传、回调 主业务，活动期易拉高出流
4 卡若AI 网关站点 反代 经 Nginx → kr宝塔:8000 入：外网请求；出：反代到 kr 的响应（仍从存客宝出口） 若域名解析到存客宝则出流算在存客宝
5 MySQL 数据库 3306 (内网/本机) 通常内网，若存在外网从库同步则占带宽 以实际是否暴露 3306 为准
6 计划任务（Cron） 定时脚本 不定 出：调用外部 API、推送、同步、备份上传；入：拉取数据 存客宝文档提及：社群同步、朋友圈任务等，可能持续出流
7 宝塔面板 管理 9988 (HTTPS) 入：管理操作；出：面板静态与 API 响应 占比通常较小
8 其他 Web/API 站点/服务 经 Nginx 或独立端口 依实际部署（如 Node/Java 若在本机） 以宝塔「网站」「Node/Java 项目」列表为准
9 系统/监控上报 系统 不定 出：yum/apt、监控 agent、日志上报等 量一般不大，可作基线排除

二、使用日志规范（字段、示例、采集方式）

2.1 日志用途

  • 记录带宽/流量的采样值，便于按日/周/月复盘、对账与排查尖峰。
  • 与腾讯云账单、控制台监控做交叉核对。

2.2 推荐字段（带宽使用日志单条）

字段名 类型 说明
date 日期 采样日期 YYYY-MM-DD
time 时间 采样时刻 HH:MM（或 HH:MM:SS）
source 枚举 取值：tencent_console / baota_api / server_proc_net_dev
metric 字符串 如：wan_out_mbps, wan_in_mbps, net_out_bytes, net_in_bytes
value 数值 采样值（单位在 metric 或 unit 中说明）
unit 字符串 如：Mbps, MB, bytes
note 字符串 可选，如「24h 平均」「5min 瞬时」「网卡 eth0 累计」

2.3 使用日志示例（表格形式，可存 CSV/MD）

date       | time  | source              | metric          | value   | unit  | note
2026-02-19 | 14:44 | tencent_console     | wan_in_mbps     | 33.07   | Mbps  | 截图峰值
2026-02-19 | 14:55 | tencent_console     | wan_out_mb      | 2.45    | MB    | 截图峰值
2026-02-19 | 15:00 | baota_api           | net_out         | 106.15  | -     | GetNetWork 下行
2026-02-19 | 15:00 | baota_api           | net_in          | 46.95   | -     | GetNetWork 上行
2026-02-20 | 10:00 | server_proc_net_dev | eth0_rx_bytes   | 1234567890 | bytes | 采样1
2026-02-20 | 10:05 | server_proc_net_dev | eth0_rx_bytes   | 1234890123 | bytes | 采样2（可算 5min 速率）

2.4 采集方式与频率建议

方式 频率 执行位置 命令/脚本 产出
腾讯云 API 每日 1 次（或按需） 本机 存客宝_腾讯云API全量分析.py CVM + 近 24h CPU/出带宽 + 本月账单；可重定向追加到日志文件
宝塔 API 每 5～15 分钟 本机（需白名单） 存客宝_CPU与网络用量查询.py 瞬时 CPU/内存/GetNetWork；可解析输出写入日志
本机网卡 每 5 分钟 存客宝服务器 cat /proc/net/dev 或 存客宝_服务器流量与负载查询.sh 网卡累计字节；两次采样做差得速率
控制台导出 按周/月 腾讯云控制台 监控 → 选择时间 → 导出 出/入带宽、流量曲线，用于复盘与对账

日志文件建议：

  • 路径示例：运营中枢/工作台/存客宝_带宽使用日志.csv（或按日 存客宝_带宽使用日志_YYYY-MM-DD.md）。
  • 若用脚本自动追加，可在 存客宝_腾讯云API全量分析.py 或 存客宝_CPU与网络用量查询.py 末尾增加「写一条带时间戳的日志行」逻辑。

三、应用程序与带宽对应（详细清单）

以下按「应用程序/组件 → 可能产生的流量类型 → 对应带宽指标」做详细列举，便于复盘时对号入座。

3.1 Web 与反向代理

应用程序 说明 可能产生的带宽 对应指标/日志
Nginx 80/443 入口，静态、反代、SSL 终结 出：HTML/JS/CSS/图片、API 响应、反代到后端；入：请求体、上传 外网出带宽、外网出流量；Nginx access.log 可按域名/URI 统计
PHP-FPM 执行 PHP，经 Nginx 转发 出：渲染后页面、接口 JSON；入：POST 表单、上传 同上，归属在 Nginx 出口；可按站点看 access 体量
存客宝主站/API ckb、mckb、h5、管理端、店铺等 出：页面与接口；入：登录、提交、上传、回调 业务高峰与监控出带宽峰值对应；建议对高耗 URI 做统计
卡若AI 网关（反代） kr-ai.quwanzhi.com → kr宝塔:8000 入：用户请求；出：从 kr 取回再返回用户（走存客宝出口） 若域名解析到存客宝，整段响应算存客宝出流

3.2 数据库与缓存

应用程序 说明 可能产生的带宽 对应指标/日志
MySQL 3306，通常仅内网/本机 主从同步若走公网则占带宽 一般不计入公网；若有跨机房同步需单独看
Redis 6379，通常本机 一般无公网流量 -

3.3 计划任务与异步

应用程序/任务 说明 可能产生的带宽 对应指标/日志
存客宝社群同步/朋友圈任务 文档提及的定时任务 出：调用微信/第三方 API、推送；入：拉取消息 出向持续偏高时段可对照 crontab 与任务日志
备份/上传 定时备份到 COS/外网 出：上传备份文件 出流量、出带宽峰值
监控/日志上报 若有 agent 或日志推送 出：上报数据 通常量小，可作基线

3.4 管理与其他

应用程序 说明 可能产生的带宽 对应指标/日志
宝塔面板 9988 HTTPS 入：管理操作；出：面板资源 占比小
SSH 22（若开放） 入：命令；出：输出、文件传输 运维时段可能短暂升高
系统更新/包管理 yum/apt 入：下载包 更新窗口可见入向升高

3.5 与历史现象的对应（复盘用）

历史现象 可能对应的应用程序/行为 建议排查
14:44 入带宽+入包量尖峰 活动/爬虫/上传/同步/异常扫描 Nginx access 14:40～14:50、防火墙/安全日志、crontab 与任务日志
出向持续 0.7～2.45 MB 页面/API 响应、计划任务对外请求、爬虫拉取 按域名/URI 统计 access.log、核对任务执行时间
出带宽峰值 41.59 Mbps 多请求并发、大响应体、静态资源未走 CDN 大响应 URI、大文件、可缓存接口是否走 CDN/缓存

四、相关脚本与文档

名称 路径/说明
存客宝_腾讯云API全量分析 01_卡资（金）/金仓_存储备份/服务器管理/scripts/存客宝_腾讯云API全量分析.py：CVM + 近 24h CPU/出带宽 + 本月账单
存客宝_CPU与网络用量查询 同上目录 存客宝_CPU与网络用量查询.py：CPU/内存/磁盘 + GetNetWork 实时流量（需 API 白名单）
存客宝_服务器流量与负载查询 同上目录 存客宝_服务器流量与负载查询.sh：在存客宝上执行，负载/内存/磁盘/连接数/网卡/监听端口
存客宝_公网数据问题与服务器深度分析报告 运营中枢/工作台/存客宝_公网数据问题与服务器深度分析报告.md
存客宝宝塔服务器_配置与性能优化报告 运营中枢/工作台/存客宝宝塔服务器_配置与性能优化报告.md

五、2026-02-13~2026-02-19 腾讯云 API 实测（费用与峰值）

5.1 费用（排除云服务器 CVM，只看公网IP/快照/MySQL）

项目 7天费用（元） 计费动作
公网 IP 96.77 按量计费小时结
云硬盘快照 Snapshot 13.89 按量计费小时结
云数据库 MySQL 10.90 按量计费小时结

结论：三项合计 121.56 元 / 7天，其中公网 IP 占比最高（约 79.6%）。

5.2 每日费用拆分（同上三项）

日期 公网 IP（元） 快照（元） MySQL（元）
2026-02-13 9.35 2.04 1.54
2026-02-14 1.74 2.04 1.61
2026-02-15 1.86 2.04 1.63
2026-02-16 2.95 2.04 1.63
2026-02-17 19.42 2.04 1.63
2026-02-18 39.77 2.04 1.63
2026-02-19 21.68 1.64 1.21

5.3 分钟级出带宽（WanOuttraffic）峰值

  • 点数：9816（近7天，Period=60s）
  • 平均：3.46 Mbps
  • P95：19.19 Mbps
  • 峰值：51.63 Mbps（已接近/触顶 50M）
  • 超阈值分钟数：

    • =20 Mbps：454 分钟（4.63%）

    • =30 Mbps：146 分钟（1.49%）

    • =40 Mbps：33 分钟（0.34%）

    • =50 Mbps：6 分钟（0.06%）

峰值时刻（+08）：

  • 2026-02-13 18:21:00 -> 51.63 Mbps
  • 2026-02-13 18:20:00 -> 51.55 Mbps
  • 2026-02-13 18:19:00 -> 50.69 Mbps
  • 2026-02-17 15:41:00 -> 50.46 Mbps
  • 2026-02-18 11:12:00 -> 50.20 Mbps

5.4 原因判断（当前证据）

  1. 公网 IP 费用上涨与出带宽峰值时段高度一致：2/17~2/19 出流明显抬高，公网 IP 当日费用同步抬升。
  2. 快照费用稳定：基本固定在约 2.04 元/天，属于保有量成本，不是突发流量导致。
  3. MySQL 费用稳定：约 1.6 元/天，波动很小，不是本轮费用异常主因。
  4. 应用级根因暂为推断：当前宝塔 API 白名单未放通（返回 IP校验失败），无法直接拉 Nginx/任务日志做 APP 级定责。

5.5 已执行与待执行

  • 已执行：腾讯云账单明细 + 分钟级带宽 API 拉取与拆分。
  • 待执行（P0）：在存客宝宝塔将执行机 IP 加入 API 白名单后，按 2/13 18:1818:21、2/17 15:41/19:5619:58、2/18 11:12 这几个窗口，拉 Nginx access top URI、top UA、top IP，完成 APP 级定责。

文档位置：运营中枢/工作台/存客宝_带宽使用列表与使用日志.md（卡若复盘格式见文首）