# metric-calculate-parent

**Repository Path**: andy_yanggu/metric-calculate-parent

## Basic Information

- **Project Name**: metric-calculate-parent
- **Description**: 基于java和flink实现实时指标计算功能
- **Primary Language**: Java
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 19
- **Forks**: 16
- **Created**: 2022-11-24
- **Last Updated**: 2025-09-10

## Categories & Tags

**Categories**: Uncategorized

**Tags**: Java, flink, 指标计算

## README

实时风控、实时营销、实时指标大屏等场景的需要大量的实时指标计算需求。将指标计算的过程进行抽象和简单配置实现复杂的指标计算

实时指标计算系统分为实时指标后台管理系统、实时指标计算核心模块、实时指标流计算系统、实时指标计算服务和实时指标外部存储几个部分组成。

#### 一、实时指标后台管理系统

- 维度管理
- 数据明细宽表
  - 宽表字段定义
  - 绑定维度字段
  - 定义时间字段
- 聚合函数管理
- Aviator函数管理
- 实时指标管理
  - 原子指标
  - 派生指标
  - 复合指标
- 指标市场
- 指标仿真计算
- 指标数据修正
- 指标数据铺底

#### 二、实时指标计算核心模块

- 聚合函数抽象模块（聚合函数接口定义）
  - aggregate-function-interface模块中
- 聚合函数内置实现模块（数值型、集合型、对象型和混合型）
  - aggregate-function-impl模块中
- Aviator函数抽象模块（Aviator函数抽象类定义）
  - aviator-function-interface模块中
- Aviator函数内置实现模块（最大值、最小值、列表、去重集合、有序集合等）
  - aviator-function-impl模块中
- 自定义函数通过jar加载
- 字段处理器实现
  - 维度字段处理器
  - 过滤字段处理器
  - 度量字段处理器
  - 多字段字段处理器
  - 数值型字段处理器
  - 集合型字段处理器
  - 对象型字段处理器
  - 映射型字段处理器
  - 混合型字段处理器
  - 聚合字段处理器
- 对象序列化和反序列化（Kryo框架，池化使用和自定义序列化器）
- 窗口聚合（时间窗口、滑动计数窗口、全局窗口和会话窗口等）
- 字段计算（虚拟字段和真实字段）
- 外部存储抽象和实现
- 派生指标指标计算接口（有状态和无状态接口）、指标数据接口。

#### 三、实时指标流计算系统

- 实时指标配置数据广播流
- 

#### 四、实时指标计算服务

- 指标计算接口
  - 无状态-计算接口
    - 多线程
    - 批查询
    - 内存攒批查询
  - 有状态-计算接口
    - 多线程
    - 批处理
    - 内存攒批查询和攒批更新
- 指标数据接口
  - 修正派生指标数据
  - 删除派生指标数据
  - 查询派生指标数据

#### 五、实时指标外部存储

- Redis存储
- Hbase存储

更多详情请见doc目录中的派生指标计算说明文档