加载中 README.md +21 −21 原始行号 差异行号 差异行 加载中 @@ -104,7 +104,7 @@ Trace 目录下的 Parquet 文件以小时为粒度存储了 Jaeger 采集的调 ``` - 文件命名 格式为 trace_jaeger-span_{日期}_{HH}-59-00.parquet，如 trace_jaeger-span_2025-05-27_13-59-00.parquet 表示该文件包含 2025-05-27 当天 13:00–14:00 期间所有采集到的 Span 信息，时区为 UTC。 格式为 trace_jaeger-span_{日期}_{HH}-59-00.parquet，如 trace_jaeger-span_2025-05-27_13-59-00.parquet 表示该文件包含 2025-05-27 当天 13:00–14:00 期间所有采集到的 Span 信息，时区为 CST。 ### Log 加载中 @@ -119,7 +119,7 @@ Log 目录与 Trace 类似，也以小时为单位分文件，存储 Filebeat - 文件命名 格式为 log_filebeat-server_{日期}_{HH}-00-00.parquet，如 log_filebeat-server_2025-05-27_13-59-00.parquet 表示 2025-05-27 13:00–14:00 时间段收集到的所有日志，时区为 UTC。 格式为 log_filebeat-server_{日期}_{HH}-00-00.parquet，如 log_filebeat-server_2025-05-27_13-59-00.parquet 表示 2025-05-27 13:00–14:00 时间段收集到的所有日志，时区为 CST。 ## 数据格式说明 加载中 加载中 @@ -151,11 +151,11 @@ APM 指标主要反映业务服务在一定时间窗口内的请求与响应情 >示例数据（部分） >| time | client_error | client_error_ratio | error | error_ratio | object_id | object_type | request | response | rrt | rrt_max | server_error | server_error_ratio | timeout | >| --------------------- | ------------ | ------------------ | ----- | ----------- | ------------- | ----------- | ------- | -------- | ------- | ------- | ------------ | ------------------ | ------- | >| 2025-05-27T00:00:00Z | 0 | 0.00 | 0 | 0.00 | adservice-0 | pod | 325 | 328 | 3661.83 | 43319 | 0 | 0 | 0 | >| 2025-05-27T00:01:00Z | 11 | 2.68 | 11 | 2.68 | adservice-0 | pod | 410 | 411 | 3708.56 | 43864 | 0 | 0 | 0 | >| 2025-05-27T00:02:00Z | 0 | 0.00 | 0 | 0.00 | adservice-0 | pod | 319 | 320 | 4140.42 | 51831 | 0 | 0 | 0 | >| 2025-05-27T00:03:00Z | 6 | 1.44 | 6 | 1.44 | adservice-0 | pod | 412 | 416 | 3401.22 | 43868 | 0 | 0 | 0 | >| 2025-05-27T00:04:00Z | 0 | 0.00 | 0 | 0.00 | adservice-0 | pod | 294 | 296 | 3480.99 | 43820 | 0 | 0 | 0 | >| 2025-05-27T08:00:00+08:00 | 0 | 0.00 | 0 | 0.00 | adservice-0 | pod | 325 | 328 | 3661.83 | 43319 | 0 | 0 | 0 | >| 2025-05-27T08:00:00+08:00 | 11 | 2.68 | 11 | 2.68 | adservice-0 | pod | 410 | 411 | 3708.56 | 43864 | 0 | 0 | 0 | >| 2025-05-27T08:00:00+08:00 | 0 | 0.00 | 0 | 0.00 | adservice-0 | pod | 319 | 320 | 4140.42 | 51831 | 0 | 0 | 0 | >| 2025-05-27T08:00:00+08:00 | 6 | 1.44 | 6 | 1.44 | adservice-0 | pod | 412 | 416 | 3401.22 | 43868 | 0 | 0 | 0 | >| 2025-05-27T08:00:00+08:00 | 0 | 0.00 | 0 | 0.00 | adservice-0 | pod | 294 | 296 | 3480.99 | 43820 | 0 | 0 | 0 | 以上示例展示 adservice-0 Pod 在不同分钟的业务调用情况。当需要计算某个时段的平均时延或错误率，可以按分钟粒度聚合 rrt、error_ratio 等字段。 加载中 加载中 @@ -204,7 +204,7 @@ APM 指标主要反映业务服务在一定时间窗口内的请求与响应情 | 字段名 | 含义 | | ----------------- | ------------------------------------------------------------ | | time | 记录时间（UTC 格式），示例：`2025-05-27T00:00:00Z` | | time | 记录时间（CST 格式），示例：`2025-05-27T08:00:00+08:00` | | cf | 保留字段，当前为空，可用于后续扩展或标记 | | device | 若指标涉及网络、文件系统等设备，此处记录设备名称，否则为空 | | instance | 数据采集节点名称，例如 `aiops-k8s-01`、`aiops-k8s-03` | 加载中 @@ -223,11 +223,11 @@ APM 指标主要反映业务服务在一定时间窗口内的请求与响应情 >infra 样例数据（部分） >| time | cf | device | instance | kpi_key | kpi_name | kubernetes_node | mountpoint | namespace | object_type | pod | pod_cpu_usage | sql_type | type | >| --------------------- | ---- | ------ | -------------- | ---------------- | --------- | --------------- | ---------- | ------------ | ----------- | ---------------------------- | ------------- | -------- | ---- | >| 2025-05-27T00:00:00Z | null | null | aiops-k8s-01 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | emailservice-2 | 0.0 | null | null | >| 2025-05-27T00:00:00Z | null | null | aiops-k8s-01 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | productcatalogservice-2 | 0.0 | null | null | >| 2025-05-27T00:00:00Z | null | null | aiops-k8s-01 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | recommendationservice-1 | 0.0 | null | null | >| 2025-05-27T00:00:00Z | null | null | aiops-k8s-01 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | shippingservice-2 | 0.0 | null | null | >| 2025-05-27T00:00:00Z | null | null | aiops-k8s-03 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | adservice-2 | 0.0 | null | null | >| 2025-05-27T08:00:00+08:00 | null | null | aiops-k8s-01 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | emailservice-2 | 0.0 | null | null | >| 2025-05-27T08:00:00+08:00 | null | null | aiops-k8s-01 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | productcatalogservice-2 | 0.0 | null | null | >| 2025-05-27T08:00:00+08:00 | null | null | aiops-k8s-01 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | recommendationservice-1 | 0.0 | null | null | >| 2025-05-27T08:00:00+08:00 | null | null | aiops-k8s-01 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | shippingservice-2 | 0.0 | null | null | >| 2025-05-27T08:00:00+08:00 | null | null | aiops-k8s-03 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | adservice-2 | 0.0 | null | null | 在实际分析中，可根据不同 kpi_key 将 Parquet 文件加载为 DataFrame，结合 time 字段按时间序列绘制曲线图，观察资源使用趋势，并与业务指标跨表关联，评估应用性能与底层资源负载的关系。 加载中 加载中 @@ -273,7 +273,7 @@ Log 数据由 Filebeat 代理从容器中读取并推送至存储后，供后续 | 字段名 | 含义 | | -------------- | -------------------------------- | | k8_namespace | Kubernetes 命名空间 | | @timestamp | 日志时间戳（ISO8601 格式） | | @timestamp | 日志时间戳（ISO8601 格式，CST时区） | | agent_name | Filebeat 采集代理名称 | | k8_pod | Pod 名称 | | message | 日志消息内容 | 加载中 @@ -284,18 +284,18 @@ Log 数据由 Filebeat 代理从容器中读取并推送至存储后，供后续 > 样例数据（Log 数据） >| k8_namespace | @timestamp | agent_name | k8_pod | message | k8_node_name | >| ------------ | ------------------------ | ------------------------- | ---------------------- | --------------------------------------------------- | ------------ | >| hipstershop | 2025-05-26T16:00:29.675Z | filebeat-filebeat-bdkxq | cartservice-2 | Executed endpoint 'gRPC - /hipstershop.C... | aiops-k8s-03 | >| hipstershop | 2025-05-26T16:00:29.686Z | filebeat-filebeat-bdkxq | cartservice-2 | Executed endpoint 'gRPC - /hipstershop.C... | aiops-k8s-03 | >| hipstershop | 2025-05-26T16:00:29.693Z | filebeat-filebeat-bdkxq | recommendationservice-0 | {"timestamp": 1748275229.6932063, "severity": ...} | aiops-k8s-03 | >| hipstershop | 2025-05-26T16:00:29.686Z | filebeat-filebeat-bdkxq | cartservice-2 | Request finished HTTP/2 POST http://cart... | aiops-k8s-03 | >| hipstershop | 2025-05-26T16:00:29.679Z | filebeat-filebeat-bdkxq | frontend-0 | {"http.req.id":"9e697136-031f-40c4-abd5-6bccd5..."} | aiops-k8s-03 | >| hipstershop | 2025-05-27T08:00:00+08:00 | filebeat-filebeat-bdkxq | cartservice-2 | Executed endpoint 'gRPC - /hipstershop.C... | aiops-k8s-03 | >| hipstershop | 2025-05-27T08:00:00+08:00 | filebeat-filebeat-bdkxq | cartservice-2 | Executed endpoint 'gRPC - /hipstershop.C... | aiops-k8s-03 | >| hipstershop | 2025-05-27T08:00:00+08:00 | filebeat-filebeat-bdkxq | recommendationservice-0 | {"timestamp": 1748275229.6932063, "severity": ...} | aiops-k8s-03 | >| hipstershop | 2025-05-27T08:00:00+08:00 | filebeat-filebeat-bdkxq | cartservice-2 | Request finished HTTP/2 POST http://cart... | aiops-k8s-03 | >| hipstershop | 2025-05-27T08:00:00+08:00 | filebeat-filebeat-bdkxq | frontend-0 | {"http.req.id":"9e697136-031f-40c4-abd5-6bccd5..."} | aiops-k8s-03 | ## 注意事项 - 时间统一使用 UTC - 时区信息 数据中的 `time`，`startTimeMillis`，`@timestamp`，以及文件名中出现的时间均为 UTC 时区。 所有文件名上的时间，以及文件内时间字段均为 CST 时区。 - 字段命名不一致需注意对齐 加载中 加载中
README.md +21 −21 原始行号 差异行号 差异行 加载中 @@ -104,7 +104,7 @@ Trace 目录下的 Parquet 文件以小时为粒度存储了 Jaeger 采集的调 ``` - 文件命名 格式为 trace_jaeger-span_{日期}_{HH}-59-00.parquet，如 trace_jaeger-span_2025-05-27_13-59-00.parquet 表示该文件包含 2025-05-27 当天 13:00–14:00 期间所有采集到的 Span 信息，时区为 UTC。 格式为 trace_jaeger-span_{日期}_{HH}-59-00.parquet，如 trace_jaeger-span_2025-05-27_13-59-00.parquet 表示该文件包含 2025-05-27 当天 13:00–14:00 期间所有采集到的 Span 信息，时区为 CST。 ### Log 加载中 @@ -119,7 +119,7 @@ Log 目录与 Trace 类似，也以小时为单位分文件，存储 Filebeat - 文件命名 格式为 log_filebeat-server_{日期}_{HH}-00-00.parquet，如 log_filebeat-server_2025-05-27_13-59-00.parquet 表示 2025-05-27 13:00–14:00 时间段收集到的所有日志，时区为 UTC。 格式为 log_filebeat-server_{日期}_{HH}-00-00.parquet，如 log_filebeat-server_2025-05-27_13-59-00.parquet 表示 2025-05-27 13:00–14:00 时间段收集到的所有日志，时区为 CST。 ## 数据格式说明 加载中 加载中 @@ -151,11 +151,11 @@ APM 指标主要反映业务服务在一定时间窗口内的请求与响应情 >示例数据（部分） >| time | client_error | client_error_ratio | error | error_ratio | object_id | object_type | request | response | rrt | rrt_max | server_error | server_error_ratio | timeout | >| --------------------- | ------------ | ------------------ | ----- | ----------- | ------------- | ----------- | ------- | -------- | ------- | ------- | ------------ | ------------------ | ------- | >| 2025-05-27T00:00:00Z | 0 | 0.00 | 0 | 0.00 | adservice-0 | pod | 325 | 328 | 3661.83 | 43319 | 0 | 0 | 0 | >| 2025-05-27T00:01:00Z | 11 | 2.68 | 11 | 2.68 | adservice-0 | pod | 410 | 411 | 3708.56 | 43864 | 0 | 0 | 0 | >| 2025-05-27T00:02:00Z | 0 | 0.00 | 0 | 0.00 | adservice-0 | pod | 319 | 320 | 4140.42 | 51831 | 0 | 0 | 0 | >| 2025-05-27T00:03:00Z | 6 | 1.44 | 6 | 1.44 | adservice-0 | pod | 412 | 416 | 3401.22 | 43868 | 0 | 0 | 0 | >| 2025-05-27T00:04:00Z | 0 | 0.00 | 0 | 0.00 | adservice-0 | pod | 294 | 296 | 3480.99 | 43820 | 0 | 0 | 0 | >| 2025-05-27T08:00:00+08:00 | 0 | 0.00 | 0 | 0.00 | adservice-0 | pod | 325 | 328 | 3661.83 | 43319 | 0 | 0 | 0 | >| 2025-05-27T08:00:00+08:00 | 11 | 2.68 | 11 | 2.68 | adservice-0 | pod | 410 | 411 | 3708.56 | 43864 | 0 | 0 | 0 | >| 2025-05-27T08:00:00+08:00 | 0 | 0.00 | 0 | 0.00 | adservice-0 | pod | 319 | 320 | 4140.42 | 51831 | 0 | 0 | 0 | >| 2025-05-27T08:00:00+08:00 | 6 | 1.44 | 6 | 1.44 | adservice-0 | pod | 412 | 416 | 3401.22 | 43868 | 0 | 0 | 0 | >| 2025-05-27T08:00:00+08:00 | 0 | 0.00 | 0 | 0.00 | adservice-0 | pod | 294 | 296 | 3480.99 | 43820 | 0 | 0 | 0 | 以上示例展示 adservice-0 Pod 在不同分钟的业务调用情况。当需要计算某个时段的平均时延或错误率，可以按分钟粒度聚合 rrt、error_ratio 等字段。 加载中 加载中 @@ -204,7 +204,7 @@ APM 指标主要反映业务服务在一定时间窗口内的请求与响应情 | 字段名 | 含义 | | ----------------- | ------------------------------------------------------------ | | time | 记录时间（UTC 格式），示例：`2025-05-27T00:00:00Z` | | time | 记录时间（CST 格式），示例：`2025-05-27T08:00:00+08:00` | | cf | 保留字段，当前为空，可用于后续扩展或标记 | | device | 若指标涉及网络、文件系统等设备，此处记录设备名称，否则为空 | | instance | 数据采集节点名称，例如 `aiops-k8s-01`、`aiops-k8s-03` | 加载中 @@ -223,11 +223,11 @@ APM 指标主要反映业务服务在一定时间窗口内的请求与响应情 >infra 样例数据（部分） >| time | cf | device | instance | kpi_key | kpi_name | kubernetes_node | mountpoint | namespace | object_type | pod | pod_cpu_usage | sql_type | type | >| --------------------- | ---- | ------ | -------------- | ---------------- | --------- | --------------- | ---------- | ------------ | ----------- | ---------------------------- | ------------- | -------- | ---- | >| 2025-05-27T00:00:00Z | null | null | aiops-k8s-01 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | emailservice-2 | 0.0 | null | null | >| 2025-05-27T00:00:00Z | null | null | aiops-k8s-01 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | productcatalogservice-2 | 0.0 | null | null | >| 2025-05-27T00:00:00Z | null | null | aiops-k8s-01 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | recommendationservice-1 | 0.0 | null | null | >| 2025-05-27T00:00:00Z | null | null | aiops-k8s-01 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | shippingservice-2 | 0.0 | null | null | >| 2025-05-27T00:00:00Z | null | null | aiops-k8s-03 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | adservice-2 | 0.0 | null | null | >| 2025-05-27T08:00:00+08:00 | null | null | aiops-k8s-01 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | emailservice-2 | 0.0 | null | null | >| 2025-05-27T08:00:00+08:00 | null | null | aiops-k8s-01 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | productcatalogservice-2 | 0.0 | null | null | >| 2025-05-27T08:00:00+08:00 | null | null | aiops-k8s-01 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | recommendationservice-1 | 0.0 | null | null | >| 2025-05-27T08:00:00+08:00 | null | null | aiops-k8s-01 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | shippingservice-2 | 0.0 | null | null | >| 2025-05-27T08:00:00+08:00 | null | null | aiops-k8s-03 | pod_cpu_usage | CPU使用率 | null | null | hipstershop | pod | adservice-2 | 0.0 | null | null | 在实际分析中，可根据不同 kpi_key 将 Parquet 文件加载为 DataFrame，结合 time 字段按时间序列绘制曲线图，观察资源使用趋势，并与业务指标跨表关联，评估应用性能与底层资源负载的关系。 加载中 加载中 @@ -273,7 +273,7 @@ Log 数据由 Filebeat 代理从容器中读取并推送至存储后，供后续 | 字段名 | 含义 | | -------------- | -------------------------------- | | k8_namespace | Kubernetes 命名空间 | | @timestamp | 日志时间戳（ISO8601 格式） | | @timestamp | 日志时间戳（ISO8601 格式，CST时区） | | agent_name | Filebeat 采集代理名称 | | k8_pod | Pod 名称 | | message | 日志消息内容 | 加载中 @@ -284,18 +284,18 @@ Log 数据由 Filebeat 代理从容器中读取并推送至存储后，供后续 > 样例数据（Log 数据） >| k8_namespace | @timestamp | agent_name | k8_pod | message | k8_node_name | >| ------------ | ------------------------ | ------------------------- | ---------------------- | --------------------------------------------------- | ------------ | >| hipstershop | 2025-05-26T16:00:29.675Z | filebeat-filebeat-bdkxq | cartservice-2 | Executed endpoint 'gRPC - /hipstershop.C... | aiops-k8s-03 | >| hipstershop | 2025-05-26T16:00:29.686Z | filebeat-filebeat-bdkxq | cartservice-2 | Executed endpoint 'gRPC - /hipstershop.C... | aiops-k8s-03 | >| hipstershop | 2025-05-26T16:00:29.693Z | filebeat-filebeat-bdkxq | recommendationservice-0 | {"timestamp": 1748275229.6932063, "severity": ...} | aiops-k8s-03 | >| hipstershop | 2025-05-26T16:00:29.686Z | filebeat-filebeat-bdkxq | cartservice-2 | Request finished HTTP/2 POST http://cart... | aiops-k8s-03 | >| hipstershop | 2025-05-26T16:00:29.679Z | filebeat-filebeat-bdkxq | frontend-0 | {"http.req.id":"9e697136-031f-40c4-abd5-6bccd5..."} | aiops-k8s-03 | >| hipstershop | 2025-05-27T08:00:00+08:00 | filebeat-filebeat-bdkxq | cartservice-2 | Executed endpoint 'gRPC - /hipstershop.C... | aiops-k8s-03 | >| hipstershop | 2025-05-27T08:00:00+08:00 | filebeat-filebeat-bdkxq | cartservice-2 | Executed endpoint 'gRPC - /hipstershop.C... | aiops-k8s-03 | >| hipstershop | 2025-05-27T08:00:00+08:00 | filebeat-filebeat-bdkxq | recommendationservice-0 | {"timestamp": 1748275229.6932063, "severity": ...} | aiops-k8s-03 | >| hipstershop | 2025-05-27T08:00:00+08:00 | filebeat-filebeat-bdkxq | cartservice-2 | Request finished HTTP/2 POST http://cart... | aiops-k8s-03 | >| hipstershop | 2025-05-27T08:00:00+08:00 | filebeat-filebeat-bdkxq | frontend-0 | {"http.req.id":"9e697136-031f-40c4-abd5-6bccd5..."} | aiops-k8s-03 | ## 注意事项 - 时间统一使用 UTC - 时区信息 数据中的 `time`，`startTimeMillis`，`@timestamp`，以及文件名中出现的时间均为 UTC 时区。 所有文件名上的时间，以及文件内时间字段均为 CST 时区。 - 字段命名不一致需注意对齐 加载中
