提交 7bcb10cf 编辑于 作者: Wang JiaJu's avatar Wang JiaJu
浏览文件

Add README.md.

上级

README.md

0 → 100644
+265 −0
原始行号 差异行号 差异行 
# 数据说明



## 数据文件说明



下面是数据集解压后的结构：



```text

├── log-parquet

│   ├── log_filebeat-server_2025-05-27_00-00-00.parquet

│   ├── log_filebeat-server_2025-05-27_01-00-00.parquet

│   └── log_filebeat-server_2025-05-27_02-00-00.parquet

├── metric-parquet

│   ├── apm

│   │   ├── pod

│   │   │   └── pod_adservice-0_2025-05-27.parquet

│   │   ├── pod_ns_hipstershop_2025-05-27.parquet

│   │   └── service

│   │       └── service_adservice_2025-05-27.parquet

│   ├── infra

│   │   ├── infra_node

│   │   │   ├── infra_node_node_cpu_usage_rate_2025-05-27.parquet

│   │   │   └── infra_node_node_disk_read_bytes_total_2025-05-27.parquet

│   │   ├── infra_pod

│   │   │   ├── infra_pod_pod_cpu_usage_2025-05-27.parquet

│   │   │   └── infra_pod_pod_fs_reads_bytes_2025-05-27.parquet

│   │   └── infra_tidb

│   │       ├── infra_tidb_block_cache_size_2025-05-27.parquet

│   │       └── infra_tidb_connection_count_2025-05-27.parquet

│   └── other

│       ├── infra_pd_abnormal_region_count_2025-05-27.parquet

│       ├── infra_pd_leader_count_2025-05-27.parquet

│       └── infra_tikv_available_size_2025-05-27.parquet

└── trace-parquet

    ├── trace_jaeger-span_2025-05-01_00-59-00.parquet

    └── trace_jaeger-span_2025-05-01_01-59-00.parquet

```



### Metric



存储各类监控指标数据，分为两个子文件夹：



- **apm/**  

  存储应用性能指标，由 DeepFlow 采集：  

  - 根目录下有按“业务命名空间 + 日期”命名的 Parquet 文件，例如  

    ```

    pod_ns_hipstershop_2025-05-27.parquet

    ```  

    表示该业务在指定日期的所有 APM 指标数据。  

  - **pod/** 子文件夹下有每个 Pod 当天的 APM 指标文件，例如  

    ```

    pod_paymentservice-0_2025-05-27.parquet

    ```  

    其中 `paymentservice-0` 为 Pod 名。  

  - **service/** 子文件夹下有每个 Service 当天的 APM 指标文件，例如  

    ```

    service_frontend_2025-05-27.parquet

    ```  

    其中 `frontend` 为 Service 名。



- **infra/**  

  存储机器性能指标，由 Prometheus 采集，包括三个子文件夹：  

  - **infra_pod/**：Pod 级别的机器指标。每种指标对应一个 Parquet 文件，例如  

    ```

    infra_pod_pod_network_receive_bytes_2025-05-27.parquet

    ```  

    指标名为 `pod_network_receive_bytes`。  

  - **infra_node/**：Node 级别的机器指标，例如  

    ```

    infra_node_node_cpu_usage_rate_2025-05-27.parquet

    ```  

    指标名为 `node_cpu_usage_rate`。  

  - **infra_tidb/**：TiDB 相关的机器指标，例如  

    ```

    infra_tidb_failed_query_ops_2025-05-27.parquet

    ```  

    指标名为 `failed_query_ops`。



- **other/**  

  存储其他组件的一些性能指标，由 Prometheus 采集。



### Trace



存储分时段的分布式调用链（Trace）数据，由 Jaeger 采集：



- 共 24 个 Parquet 文件，每个文件对应一个小时的调用链数据。  

- 文件名格式示例：  

    ```

    trace_jaeger-span_2025-05-27_13-59-00.parquet

    ```

表示该文件包含当天 13:00–14:00 的所有 Trace 信息。



### Log



存储分时段的容器日志数据，由 Filebeat 采集：



- 共 24 个 Parquet 文件，每个文件对应一个小时的日志数据。  

- 文件名格式示例：  

    ```

    log_filebeat-server_2025-05-27_13-59-00.parquet

    ```

表示该文件包含当天 13:00–14:00 时间段、容器名为 “server” 的 Pod 日志。



## 数据格式说明



### Metric



#### 业务指标



指标释义



| 指标编码             | 指标名称       | 指标粒度 |

| -------------------- | -------------- | -------- |

| request              | 请求数量       | 60       |

| response             | 响应数量       | 60       |

| rrt                  | 平均时延       | 60       |

| rrt_max              | 最大时延       | 60       |

| error                | 异常           | 60       |

| client_error         | 客户端异常     | 60       |

| server_error         | 服务端异常     | 60       |

| timeout              | 超时           | 60       |

| error_ratio          | 异常比例       | 60       |

| client_error_ratio   | 客户端异常比例 | 60       |

| server_error_ratio   | 服务端异常比例 | 60       |



---



样例数据



| time                  | client_error | client_error_ratio | error | error_ratio | object_id     | object_type | request | response |     rrt | rrt_max | server_error | server_error_ratio | timeout |

| --------------------- | ------------ | ------------------ | ----- | ----------- | ------------- | ----------- | ------- | -------- | ------- | ------- | ------------ | ------------------ | ------- |

| 2025-05-27T00:00:00Z  | 0            | 0.00               | 0     | 0.00        | adservice-0   | pod         | 325     | 328      | 3661.83 | 43319   | 0            | 0                  | 0       |

| 2025-05-27T00:01:00Z  | 11           | 2.68               | 11    | 2.68        | adservice-0   | pod         | 410     | 411      | 3708.56 | 43864   | 0            | 0                  | 0       |

| 2025-05-27T00:02:00Z  | 0            | 0.00               | 0     | 0.00        | adservice-0   | pod         | 319     | 320      | 4140.42 | 51831   | 0            | 0                  | 0       |

| 2025-05-27T00:03:00Z  | 6            | 1.44               | 6     | 1.44        | adservice-0   | pod         | 412     | 416      | 3401.22 | 43868   | 0            | 0                  | 0       |

| 2025-05-27T00:04:00Z  | 0            | 0.00               | 0     | 0.00        | adservice-0   | pod         | 294     | 296      | 3480.99 | 43820   | 0            | 0                  | 0       |



#### 性能指标



指标释义



| 对象类型 | 指标编码                        | 指标名称                      |

| -------- | ------------------------------- | ----------------------------- |

| pod      | pod_cpu_usage                   | CPU 使用率                    |

| pod      | pod_processes                   | 进程数                        |

| pod      | pod_memory_working_set_bytes    | 内存使用大小                  |

| pod      | pod_fs_writes_bytes             | 写入字节的累积计数            |

| pod      | pod_fs_reads_bytes              | 累计读取字节数                |

| pod      | pod_network_receive_bytes       | 接收字节的累积计数            |

| pod      | pod_network_transmit_bytes      | 传输字节的累积计数            |

| pod      | pod_network_receive_packets     | 接收数据包的累积计数          |

| pod      | pod_network_transmit_packets    | 传输数据包的累积计数          |

| node     | node_cpu_usage_rate             | CPU 使用率                    |

| node     | node_memory_usage_rate          | 内存使用率                    |

| node     | node_filesystem_usage_rate      | 磁盘使用率                    |

| node     | node_memory_MemAvailable_bytes  | 空闲内存大小                  |

| node     | node_memory_MemTotal_bytes      | 内存总大小                    |

| node     | node_filesystem_size_bytes      | 存储设备总大小                |

| node     | node_filesystem_free_bytes      | 存储设备空闲大小              |

| node     | node_disk_read_bytes_total      | 成功读取的字节数              |

| node     | node_disk_read_time_seconds_total | 磁盘分区读取花费的秒数       |

| node     | node_disk_written_bytes_total   | 成功写入的字节数              |

| node     | node_disk_write_time_seconds_total | 磁盘分区写操作花费的秒数   |

| node     | node_network_receive_bytes_total | {{device}} 接口接收速率      |

| node     | node_network_receive_packets_total | {{device}} 接口每秒接收的数据包总数 |

| node     | node_network_transmit_bytes_total | {{device}} 接口发送速率      |

| node     | node_network_transmit_packets_total | {{device}} 接口每秒发送的数据包总数 |

| node     | node_sockstat_TCP_inuse         | TCP_inuse – 正在使用（正在侦听）的 TCP 套接字数量 |

| tidb     | connection_count                | 连接数                        |

| tidb     | failed_query_ops                | 失败请求数                    |

| tidb     | duration_99th                   | 99 分位请求延迟               |

| tidb     | duration_95th                   | 95 分位请求延迟               |

| tidb     | duration_avg                    | 平均请求延迟                  |

| tidb     | qps                             | 请求数量                      |

| tidb     | slow_query                      | 慢查询                        |

| tidb     | block_cache_size                | Block Cache 大小             |



---



字段释义（infra 样例数据文件）



| 字段名            | 含义                                                         |

| ----------------- | ------------------------------------------------------------ |

| time              | 记录时间（UTC 格式），示例：`2025-05-27T00:00:00Z`            |

| cf                | 保留字段（当前为空，可用于后续扩展或标记）                   |

| device            | 保留字段（当前为空，可用于后续标记具体设备）                 |

| instance          | 数据采集节点名称，例如 `aiops-k8s-01`、`aiops-k8s-03`        |

| kpi_key           | 指标编码，例如 `pod_cpu_usage`                               |

| kpi_name          | 指标名称，例如 `CPU 使用率`                                  |

| kubernetes_node   | 保留字段（当前为空，可用于标记 Kubernetes Node 名称）       |

| mountpoint        | 保留字段（当前为空，可用于标记挂载点路径）                   |

| namespace         | Kubernetes 命名空间，例如 `hipstershop`                      |

| object_type       | 对象类型，例如 `pod`、`node`、`tidb`                         |

| pod               | Pod 名称，例如 `emailservice-2`、`productcatalogservice-2`     |

| pod_cpu_usage     | 指标值（以数值形式展示，例如 CPU 使用率为 0.0）             |

| sql_type          | 保留字段（当前为空，可用于标记 SQL 类型）                   |

| type              | 保留字段（当前为空，可用于标记数据行类型）                   |



---



infra 样例数据



| time                  | cf   | device | instance       | kpi_key         | kpi_name  | kubernetes_node | mountpoint | namespace    | object_type | pod                          | pod_cpu_usage | sql_type | type |

| --------------------- | ---- | ------ | -------------- | ---------------- | --------- | --------------- | ---------- | ------------ | ----------- | ---------------------------- | ------------- | -------- | ---- |

| 2025-05-27T00:00:00Z  | null | null   | aiops-k8s-01   | pod_cpu_usage    | CPU使用率 | null            | null       | hipstershop  | pod         | emailservice-2               | 0.0           | null     | null |

| 2025-05-27T00:00:00Z  | null | null   | aiops-k8s-01   | pod_cpu_usage    | CPU使用率 | null            | null       | hipstershop  | pod         | productcatalogservice-2       | 0.0           | null     | null |

| 2025-05-27T00:00:00Z  | null | null   | aiops-k8s-01   | pod_cpu_usage    | CPU使用率 | null            | null       | hipstershop  | pod         | recommendationservice-1       | 0.0           | null     | null |

| 2025-05-27T00:00:00Z  | null | null   | aiops-k8s-01   | pod_cpu_usage    | CPU使用率 | null            | null       | hipstershop  | pod         | shippingservice-2             | 0.0           | null     | null |

| 2025-05-27T00:00:00Z  | null | null   | aiops-k8s-03   | pod_cpu_usage    | CPU使用率 | null            | null       | hipstershop  | pod         | adservice-2                   | 0.0           | null     | null |



### Trace



字段释义（Trace 数据）



| 字段名             | 含义                                               |

| ------------------ | -------------------------------------------------- |

| traceID            | Trace 唯一标识                                      |

| spanID             | Span 唯一标识                                       |

| flags              | Trace 的 flags 值                                   |

| operationName      | 操作名称                                            |

| references         | 引用关系列表（如 CHILD_OF 等）                      |

| startTime          | 开始时间（纳秒级时间戳）                            |

| startTimeMillis    | 开始时间（毫秒级时间戳）                            |

| duration           | 持续时长（通常为微秒数或纳秒数，视采集工具而定）     |

| tags               | 标签列表（键值对数组）                              |

| logs               | 日志列表（包含若干字段的数组）                      |

| process            | 进程信息（包含 serviceName 及附加标签）             |



---



样例数据（Trace 数据）



| traceID                             | spanID                             | flags | operationName                                            | references                                                                                                    | startTime    | startTimeMillis | duration | tags                                                                                                                                                                                                                                                                                                                                   | logs                                                                                                                                                                                                                                                                                                                                   | process                                                                                                                         |

| ----------------------------------- | ---------------------------------- | ----- | -------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------- | ------------ | --------------- | -------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------- |

| 063346d9fb108c5fd56ecdeb9aae4e97    | a5dbaca343f5bf6b                   | 1.0   | hipstershop.CurrencyService/GetSupportedCurrencies       | [{'refType': 'CHILD_OF', 'spanID': '0473d09282f6f37b'}]                                                       | 1746028800342964 | 1746028800342  | 4202     | [{'key': 'rpc.system', 'type': 'string', 'value': 'grpc'}, {'key': 'span.kind', 'type': 'string', 'value': 'server'}, {'key': 'rpc.grpc.status_code', 'type': 'int64', 'value': 0}]                                                                                                                                               | [{'fields': [{'key': 'message.type', 'type': 'string', 'value': 'EVENT'}, {'key': 'message.event', 'type': 'string', 'value': 'ServerRecv'}], 'timestamp': 1746028800343000}]                                                                                                                                                         | {'serviceName': 'frontend', 'tags': [{'key': 'hostname', 'type': 'string', 'value': 'frontend-xyz'}]}                              |

| 44d06fcdceb3be247b1665f7affc4507    | c451558641c213e0                   | 1.0   | hipstershop.CartService/GetCart                           | [{'refType': 'CHILD_OF', 'spanID': '8e66f5b2da1c2e8f'}]                                                       | 1746028800375529 | 1746028800375  | 7034     | [{'key': 'rpc.system', 'type': 'string', 'value': 'grpc'}, {'key': 'span.kind', 'type': 'string', 'value': 'server'}, {'key': 'rpc.grpc.status_code', 'type': 'int64', 'value': 0}]                                                                                                                                               | [{'fields': [{'key': 'message.type', 'type': 'string', 'value': 'EVENT'}, {'key': 'message.event', 'type': 'string', 'value': 'ServerRecv'}], 'timestamp': 1746028800376000}]                                                                                                                                                         | {'serviceName': 'checkoutservice', 'tags': [{'key': 'hostname', 'type': 'string', 'value': 'checkout-abc'}]}                    |



### Log



字段释义（Log 数据）



| 字段名         | 含义                             |

| -------------- | -------------------------------- |

| k8_namespace   | Kubernetes 命名空间              |

| @timestamp     | 日志时间戳（ISO8601 格式）       |

| agent_name     | Filebeat 采集代理名称            |

| k8_pod         | Pod 名称                         |

| message        | 日志消息内容                     |

| k8_node_name   | Kubernetes Node 名称             |



---



样例数据（Log 数据）



| k8_namespace | @timestamp               | agent_name                | k8_pod                 | message                                             | k8_node_name |

| ------------ | ------------------------ | ------------------------- | ---------------------- | --------------------------------------------------- | ------------ |

| hipstershop  | 2025-05-26T16:00:29.675Z | filebeat-filebeat-bdkxq   | cartservice-2          | Executed endpoint 'gRPC - /hipstershop.C...          | aiops-k8s-03 |

| hipstershop  | 2025-05-26T16:00:29.686Z | filebeat-filebeat-bdkxq   | cartservice-2          | Executed endpoint 'gRPC - /hipstershop.C...          | aiops-k8s-03 |

| hipstershop  | 2025-05-26T16:00:29.693Z | filebeat-filebeat-bdkxq   | recommendationservice-0 | {"timestamp": 1748275229.6932063, "severity": ...}   | aiops-k8s-03 |

| hipstershop  | 2025-05-26T16:00:29.686Z | filebeat-filebeat-bdkxq   | cartservice-2          | Request finished HTTP/2 POST http://cart...          | aiops-k8s-03 |

| hipstershop  | 2025-05-26T16:00:29.679Z | filebeat-filebeat-bdkxq   | frontend-0             | {"http.req.id":"9e697136-031f-40c4-abd5-6bccd5..."}  | aiops-k8s-03 |



## LICENSE



Unless otherwise agreed by the organizers and the contestant, the contestant shall ensure that it only uses the basic data for non-commercial purposes such as scientific research or classroom teaching, and take full responsibility for the use of conversion basic data, also ensure the organizer and its affiliated party are free from expenses or litigation caused by the any use of basic data.
 
 No newline at end of file