Update README.md (bd67232d) · 提交 · aiops-live-benchmark / AIOpsChallenge2025-Sample

README.md

+19 −19

原始行号	差异行号	差异行
		@@ -123,7 +123,7 @@ Log 目录与 Trace 类似，也以小时为单位分文件，存储 Filebeat

		## 数据格式说明

		在了解了数据文件的组织结构后，接下来针对各类别数据的字段含义、典型示例及采集粒度进行详细说明，以便后续数据清洗、建模和可视化分析。
		接下来针对各类别数据的字段含义、典型示例及采集粒度进行详细说明，以便后续数据清洗、建模和可视化分析。

		### Metric

		@@ -151,11 +151,11 @@ APM 指标主要反映业务服务在一定时间窗口内的请求与响应情
		>示例数据（部分）
		>\| time \| client_error \| client_error_ratio \| error \| error_ratio \| object_id \| object_type \| request \| response \| rrt \| rrt_max \| server_error \| server_error_ratio \| timeout \|
		>\| --------------------- \| ------------ \| ------------------ \| ----- \| ----------- \| ------------- \| ----------- \| ------- \| -------- \| ------- \| ------- \| ------------ \| ------------------ \| ------- \|
		>\| 2025-05-27T08:00:00+08:00 \| 0 \| 0.00 \| 0 \| 0.00 \| adservice-0 \| pod \| 325 \| 328 \| 3661.83 \| 43319 \| 0 \| 0 \| 0 \|
		>\| 2025-05-27T08:00:00+08:00 \| 11 \| 2.68 \| 11 \| 2.68 \| adservice-0 \| pod \| 410 \| 411 \| 3708.56 \| 43864 \| 0 \| 0 \| 0 \|
		>\| 2025-05-27T08:00:00+08:00 \| 0 \| 0.00 \| 0 \| 0.00 \| adservice-0 \| pod \| 319 \| 320 \| 4140.42 \| 51831 \| 0 \| 0 \| 0 \|
		>\| 2025-05-27T08:00:00+08:00 \| 6 \| 1.44 \| 6 \| 1.44 \| adservice-0 \| pod \| 412 \| 416 \| 3401.22 \| 43868 \| 0 \| 0 \| 0 \|
		>\| 2025-05-27T08:00:00+08:00 \| 0 \| 0.00 \| 0 \| 0.00 \| adservice-0 \| pod \| 294 \| 296 \| 3480.99 \| 43820 \| 0 \| 0 \| 0 \|
		>\| 2025-05-05 16:04:00+00:00 \| 0 \| 0.00 \| 0 \| 0.00 \| adservice-0 \| pod \| 325 \| 328 \| 3661.83 \| 43319 \| 0 \| 0 \| 0 \|
		>\| 2025-05-05 16:04:00+00:00 \| 11 \| 2.68 \| 11 \| 2.68 \| adservice-0 \| pod \| 410 \| 411 \| 3708.56 \| 43864 \| 0 \| 0 \| 0 \|
		>\| 2025-05-05 16:04:00+00:00 \| 0 \| 0.00 \| 0 \| 0.00 \| adservice-0 \| pod \| 319 \| 320 \| 4140.42 \| 51831 \| 0 \| 0 \| 0 \|
		>\| 2025-05-05 16:04:00+00:00 \| 6 \| 1.44 \| 6 \| 1.44 \| adservice-0 \| pod \| 412 \| 416 \| 3401.22 \| 43868 \| 0 \| 0 \| 0 \|
		>\| 2025-05-05 16:04:00+00:00 \| 0 \| 0.00 \| 0 \| 0.00 \| adservice-0 \| pod \| 294 \| 296 \| 3480.99 \| 43820 \| 0 \| 0 \| 0 \|

		以上示例展示 adservice-0 Pod 在不同分钟的业务调用情况。当需要计算某个时段的平均时延或错误率，可以按分钟粒度聚合 rrt、error_ratio 等字段。

		@@ -204,7 +204,7 @@ APM 指标主要反映业务服务在一定时间窗口内的请求与响应情

		\| 字段名 \| 含义 \|
		\| ----------------- \| ------------------------------------------------------------ \|
		\| time \| 记录时间（CST 格式），示例：`2025-05-27T08:00:00+08:00` \|
		\| time \| 记录时间（UTC 格式），示例：`2025-05-05 16:04:00+00:00` \|
		\| cf \| 保留字段，当前为空，可用于后续扩展或标记 \|
		\| device \| 若指标涉及网络、文件系统等设备，此处记录设备名称，否则为空 \|
		\| instance \| 数据采集节点名称，例如 `aiops-k8s-01`、`aiops-k8s-03` \|
		@@ -223,11 +223,11 @@ APM 指标主要反映业务服务在一定时间窗口内的请求与响应情
		>infra 样例数据（部分）
		>\| time \| cf \| device \| instance \| kpi_key \| kpi_name \| kubernetes_node \| mountpoint \| namespace \| object_type \| pod \| pod_cpu_usage \| sql_type \| type \|
		>\| --------------------- \| ---- \| ------ \| -------------- \| ---------------- \| --------- \| --------------- \| ---------- \| ------------ \| ----------- \| ---------------------------- \| ------------- \| -------- \| ---- \|
		>\| 2025-05-27T08:00:00+08:00 \| null \| null \| aiops-k8s-01 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| emailservice-2 \| 0.0 \| null \| null \|
		>\| 2025-05-27T08:00:00+08:00 \| null \| null \| aiops-k8s-01 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| productcatalogservice-2 \| 0.0 \| null \| null \|
		>\| 2025-05-27T08:00:00+08:00 \| null \| null \| aiops-k8s-01 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| recommendationservice-1 \| 0.0 \| null \| null \|
		>\| 2025-05-27T08:00:00+08:00 \| null \| null \| aiops-k8s-01 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| shippingservice-2 \| 0.0 \| null \| null \|
		>\| 2025-05-27T08:00:00+08:00 \| null \| null \| aiops-k8s-03 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| adservice-2 \| 0.0 \| null \| null \|
		>\| 2025-05-05 16:04:00+00:00 \| null \| null \| aiops-k8s-01 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| emailservice-2 \| 0.0 \| null \| null \|
		>\| 2025-05-05 16:04:00+00:00 \| null \| null \| aiops-k8s-01 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| productcatalogservice-2 \| 0.0 \| null \| null \|
		>\| 2025-05-05 16:04:00+00:00 \| null \| null \| aiops-k8s-01 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| recommendationservice-1 \| 0.0 \| null \| null \|
		>\| 2025-05-05 16:04:00+00:00 \| null \| null \| aiops-k8s-01 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| shippingservice-2 \| 0.0 \| null \| null \|
		>\| 2025-05-05 16:04:00+00:00 \| null \| null \| aiops-k8s-03 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| adservice-2 \| 0.0 \| null \| null \|

		在实际分析中，可根据不同 kpi_key 将 Parquet 文件加载为 DataFrame，结合 time 字段按时间序列绘制曲线图，观察资源使用趋势，并与业务指标跨表关联，评估应用性能与底层资源负载的关系。

		@@ -273,7 +273,7 @@ Log 数据由 Filebeat 代理从容器中读取并推送至存储后，供后续
		\| 字段名 \| 含义 \|
		\| -------------- \| -------------------------------- \|
		\| k8_namespace \| Kubernetes 命名空间 \|
		\| @timestamp \| 日志时间戳（ISO8601 格式，CST时区） \|
		\| @timestamp \| 日志时间戳（ISO8601 格式，UTC时区） \|
		\| agent_name \| Filebeat 采集代理名称 \|
		\| k8_pod \| Pod 名称 \|
		\| message \| 日志消息内容 \|
		@@ -284,18 +284,18 @@ Log 数据由 Filebeat 代理从容器中读取并推送至存储后，供后续
		> 样例数据（Log 数据）
		>\| k8_namespace \| @timestamp \| agent_name \| k8_pod \| message \| k8_node_name \|
		>\| ------------ \| ------------------------ \| ------------------------- \| ---------------------- \| --------------------------------------------------- \| ------------ \|
		>\| hipstershop \| 2025-05-27T08:00:00+08:00 \| filebeat-filebeat-bdkxq \| cartservice-2 \| Executed endpoint 'gRPC - /hipstershop.C... \| aiops-k8s-03 \|
		>\| hipstershop \| 2025-05-27T08:00:00+08:00 \| filebeat-filebeat-bdkxq \| cartservice-2 \| Executed endpoint 'gRPC - /hipstershop.C... \| aiops-k8s-03 \|
		>\| hipstershop \| 2025-05-27T08:00:00+08:00 \| filebeat-filebeat-bdkxq \| recommendationservice-0 \| {"timestamp": 1748275229.6932063, "severity": ...} \| aiops-k8s-03 \|
		>\| hipstershop \| 2025-05-27T08:00:00+08:00 \| filebeat-filebeat-bdkxq \| cartservice-2 \| Request finished HTTP/2 POST http://cart... \| aiops-k8s-03 \|
		>\| hipstershop \| 2025-05-27T08:00:00+08:00 \| filebeat-filebeat-bdkxq \| frontend-0 \| {"http.req.id":"9e697136-031f-40c4-abd5-6bccd5..."} \| aiops-k8s-03 \|
		>\| hipstershop \| 2025-05-27T00:00:00Z \| filebeat-filebeat-bdkxq \| cartservice-2 \| Executed endpoint 'gRPC - /hipstershop.C... \| aiops-k8s-03 \|
		>\| hipstershop \| 2025-05-27T00:00:00Z \| filebeat-filebeat-bdkxq \| cartservice-2 \| Executed endpoint 'gRPC - /hipstershop.C... \| aiops-k8s-03 \|
		>\| hipstershop \| 2025-05-27T00:00:00Z \| filebeat-filebeat-bdkxq \| recommendationservice-0 \| {"timestamp": 1748275229.6932063, "severity": ...} \| aiops-k8s-03 \|
		>\| hipstershop \| 2025-05-27T00:00:00Z \| filebeat-filebeat-bdkxq \| cartservice-2 \| Request finished HTTP/2 POST http://cart... \| aiops-k8s-03 \|
		>\| hipstershop \| 2025-05-27T00:00:00Z \| filebeat-filebeat-bdkxq \| frontend-0 \| {"http.req.id":"9e697136-031f-40c4-abd5-6bccd5..."} \| aiops-k8s-03 \|


		## 注意事项

		- 时区信息

		所有文件名上的时间，以及文件内时间字段均为 CST 时区。
		所有文件名上的时间为 CST 时区，指标文件的`time`字段，日志文件的`@timestamp`字段为 UTC 时区。

		- 字段命名不一致需注意对齐

原始行号	差异行号	差异行
		@@ -123,7 +123,7 @@ Log 目录与 Trace 类似，也以小时为单位分文件，存储 Filebeat

		## 数据格式说明

		在了解了数据文件的组织结构后，接下来针对各类别数据的字段含义、典型示例及采集粒度进行详细说明，以便后续数据清洗、建模和可视化分析。
		接下来针对各类别数据的字段含义、典型示例及采集粒度进行详细说明，以便后续数据清洗、建模和可视化分析。

		### Metric

		@@ -151,11 +151,11 @@ APM 指标主要反映业务服务在一定时间窗口内的请求与响应情
		>示例数据（部分）
		>\| time \| client_error \| client_error_ratio \| error \| error_ratio \| object_id \| object_type \| request \| response \| rrt \| rrt_max \| server_error \| server_error_ratio \| timeout \|
		>\| --------------------- \| ------------ \| ------------------ \| ----- \| ----------- \| ------------- \| ----------- \| ------- \| -------- \| ------- \| ------- \| ------------ \| ------------------ \| ------- \|
		>\| 2025-05-27T08:00:00+08:00 \| 0 \| 0.00 \| 0 \| 0.00 \| adservice-0 \| pod \| 325 \| 328 \| 3661.83 \| 43319 \| 0 \| 0 \| 0 \|
		>\| 2025-05-27T08:00:00+08:00 \| 11 \| 2.68 \| 11 \| 2.68 \| adservice-0 \| pod \| 410 \| 411 \| 3708.56 \| 43864 \| 0 \| 0 \| 0 \|
		>\| 2025-05-27T08:00:00+08:00 \| 0 \| 0.00 \| 0 \| 0.00 \| adservice-0 \| pod \| 319 \| 320 \| 4140.42 \| 51831 \| 0 \| 0 \| 0 \|
		>\| 2025-05-27T08:00:00+08:00 \| 6 \| 1.44 \| 6 \| 1.44 \| adservice-0 \| pod \| 412 \| 416 \| 3401.22 \| 43868 \| 0 \| 0 \| 0 \|
		>\| 2025-05-27T08:00:00+08:00 \| 0 \| 0.00 \| 0 \| 0.00 \| adservice-0 \| pod \| 294 \| 296 \| 3480.99 \| 43820 \| 0 \| 0 \| 0 \|
		>\| 2025-05-05 16:04:00+00:00 \| 0 \| 0.00 \| 0 \| 0.00 \| adservice-0 \| pod \| 325 \| 328 \| 3661.83 \| 43319 \| 0 \| 0 \| 0 \|
		>\| 2025-05-05 16:04:00+00:00 \| 11 \| 2.68 \| 11 \| 2.68 \| adservice-0 \| pod \| 410 \| 411 \| 3708.56 \| 43864 \| 0 \| 0 \| 0 \|
		>\| 2025-05-05 16:04:00+00:00 \| 0 \| 0.00 \| 0 \| 0.00 \| adservice-0 \| pod \| 319 \| 320 \| 4140.42 \| 51831 \| 0 \| 0 \| 0 \|
		>\| 2025-05-05 16:04:00+00:00 \| 6 \| 1.44 \| 6 \| 1.44 \| adservice-0 \| pod \| 412 \| 416 \| 3401.22 \| 43868 \| 0 \| 0 \| 0 \|
		>\| 2025-05-05 16:04:00+00:00 \| 0 \| 0.00 \| 0 \| 0.00 \| adservice-0 \| pod \| 294 \| 296 \| 3480.99 \| 43820 \| 0 \| 0 \| 0 \|

		以上示例展示 adservice-0 Pod 在不同分钟的业务调用情况。当需要计算某个时段的平均时延或错误率，可以按分钟粒度聚合 rrt、error_ratio 等字段。

		@@ -204,7 +204,7 @@ APM 指标主要反映业务服务在一定时间窗口内的请求与响应情

		\| 字段名 \| 含义 \|
		\| ----------------- \| ------------------------------------------------------------ \|
		\| time \| 记录时间（CST 格式），示例：`2025-05-27T08:00:00+08:00` \|
		\| time \| 记录时间（UTC 格式），示例：`2025-05-05 16:04:00+00:00` \|
		\| cf \| 保留字段，当前为空，可用于后续扩展或标记 \|
		\| device \| 若指标涉及网络、文件系统等设备，此处记录设备名称，否则为空 \|
		\| instance \| 数据采集节点名称，例如 `aiops-k8s-01`、`aiops-k8s-03` \|
		@@ -223,11 +223,11 @@ APM 指标主要反映业务服务在一定时间窗口内的请求与响应情
		>infra 样例数据（部分）
		>\| time \| cf \| device \| instance \| kpi_key \| kpi_name \| kubernetes_node \| mountpoint \| namespace \| object_type \| pod \| pod_cpu_usage \| sql_type \| type \|
		>\| --------------------- \| ---- \| ------ \| -------------- \| ---------------- \| --------- \| --------------- \| ---------- \| ------------ \| ----------- \| ---------------------------- \| ------------- \| -------- \| ---- \|
		>\| 2025-05-27T08:00:00+08:00 \| null \| null \| aiops-k8s-01 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| emailservice-2 \| 0.0 \| null \| null \|
		>\| 2025-05-27T08:00:00+08:00 \| null \| null \| aiops-k8s-01 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| productcatalogservice-2 \| 0.0 \| null \| null \|
		>\| 2025-05-27T08:00:00+08:00 \| null \| null \| aiops-k8s-01 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| recommendationservice-1 \| 0.0 \| null \| null \|
		>\| 2025-05-27T08:00:00+08:00 \| null \| null \| aiops-k8s-01 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| shippingservice-2 \| 0.0 \| null \| null \|
		>\| 2025-05-27T08:00:00+08:00 \| null \| null \| aiops-k8s-03 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| adservice-2 \| 0.0 \| null \| null \|
		>\| 2025-05-05 16:04:00+00:00 \| null \| null \| aiops-k8s-01 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| emailservice-2 \| 0.0 \| null \| null \|
		>\| 2025-05-05 16:04:00+00:00 \| null \| null \| aiops-k8s-01 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| productcatalogservice-2 \| 0.0 \| null \| null \|
		>\| 2025-05-05 16:04:00+00:00 \| null \| null \| aiops-k8s-01 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| recommendationservice-1 \| 0.0 \| null \| null \|
		>\| 2025-05-05 16:04:00+00:00 \| null \| null \| aiops-k8s-01 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| shippingservice-2 \| 0.0 \| null \| null \|
		>\| 2025-05-05 16:04:00+00:00 \| null \| null \| aiops-k8s-03 \| pod_cpu_usage \| CPU使用率 \| null \| null \| hipstershop \| pod \| adservice-2 \| 0.0 \| null \| null \|

		在实际分析中，可根据不同 kpi_key 将 Parquet 文件加载为 DataFrame，结合 time 字段按时间序列绘制曲线图，观察资源使用趋势，并与业务指标跨表关联，评估应用性能与底层资源负载的关系。

		@@ -273,7 +273,7 @@ Log 数据由 Filebeat 代理从容器中读取并推送至存储后，供后续
		\| 字段名 \| 含义 \|
		\| -------------- \| -------------------------------- \|
		\| k8_namespace \| Kubernetes 命名空间 \|
		\| @timestamp \| 日志时间戳（ISO8601 格式，CST时区） \|
		\| @timestamp \| 日志时间戳（ISO8601 格式，UTC时区） \|
		\| agent_name \| Filebeat 采集代理名称 \|
		\| k8_pod \| Pod 名称 \|
		\| message \| 日志消息内容 \|
		@@ -284,18 +284,18 @@ Log 数据由 Filebeat 代理从容器中读取并推送至存储后，供后续
		> 样例数据（Log 数据）
		>\| k8_namespace \| @timestamp \| agent_name \| k8_pod \| message \| k8_node_name \|
		>\| ------------ \| ------------------------ \| ------------------------- \| ---------------------- \| --------------------------------------------------- \| ------------ \|
		>\| hipstershop \| 2025-05-27T08:00:00+08:00 \| filebeat-filebeat-bdkxq \| cartservice-2 \| Executed endpoint 'gRPC - /hipstershop.C... \| aiops-k8s-03 \|
		>\| hipstershop \| 2025-05-27T08:00:00+08:00 \| filebeat-filebeat-bdkxq \| cartservice-2 \| Executed endpoint 'gRPC - /hipstershop.C... \| aiops-k8s-03 \|
		>\| hipstershop \| 2025-05-27T08:00:00+08:00 \| filebeat-filebeat-bdkxq \| recommendationservice-0 \| {"timestamp": 1748275229.6932063, "severity": ...} \| aiops-k8s-03 \|
		>\| hipstershop \| 2025-05-27T08:00:00+08:00 \| filebeat-filebeat-bdkxq \| cartservice-2 \| Request finished HTTP/2 POST http://cart... \| aiops-k8s-03 \|
		>\| hipstershop \| 2025-05-27T08:00:00+08:00 \| filebeat-filebeat-bdkxq \| frontend-0 \| {"http.req.id":"9e697136-031f-40c4-abd5-6bccd5..."} \| aiops-k8s-03 \|
		>\| hipstershop \| 2025-05-27T00:00:00Z \| filebeat-filebeat-bdkxq \| cartservice-2 \| Executed endpoint 'gRPC - /hipstershop.C... \| aiops-k8s-03 \|
		>\| hipstershop \| 2025-05-27T00:00:00Z \| filebeat-filebeat-bdkxq \| cartservice-2 \| Executed endpoint 'gRPC - /hipstershop.C... \| aiops-k8s-03 \|
		>\| hipstershop \| 2025-05-27T00:00:00Z \| filebeat-filebeat-bdkxq \| recommendationservice-0 \| {"timestamp": 1748275229.6932063, "severity": ...} \| aiops-k8s-03 \|
		>\| hipstershop \| 2025-05-27T00:00:00Z \| filebeat-filebeat-bdkxq \| cartservice-2 \| Request finished HTTP/2 POST http://cart... \| aiops-k8s-03 \|
		>\| hipstershop \| 2025-05-27T00:00:00Z \| filebeat-filebeat-bdkxq \| frontend-0 \| {"http.req.id":"9e697136-031f-40c4-abd5-6bccd5..."} \| aiops-k8s-03 \|


		## 注意事项

		- 时区信息

		所有文件名上的时间，以及文件内时间字段均为 CST 时区。
		所有文件名上的时间为 CST 时区，指标文件的`time`字段，日志文件的`@timestamp`字段为 UTC 时区。

		- 字段命名不一致需注意对齐