MySQL Flink实时流处理的核心技术之窗口机制

目录

• 1.为什么要学窗口
• 2.Flink中的窗口
• 3.滚动窗口（Tumble）
• 3.1 概念
• 3.2 案例SQL

1.为什么要学窗口

流式计算，一般有两种场景：

• 无限制的流式计算，比如：wordcount案例，它没有任何外部的限制条件，这种情况不多。
• 有限制的流式计算，比如：统计早高峰时间内经过某个道路的车辆数。

对于第二种情况来说，我们需要加上额外的限制条件。最常用的限制条件就是时间了。

这个时间段，在程序中，就用一个窗口来表示。

也就是说，窗口的作用：把流式计算转换为批量计算，窗口是流转批的一个桥梁。

这就是为什么要学窗口的原因了。

2.Flink中的窗口

在Flink中，窗口可以分为如下几类：

• 滚动窗口（Tumble）
• 滑动窗口（hop、Slice）
• 会话窗口（session）
• 渐进式窗口（cumulate）
• 聚合窗口（over）

3.滚动窗口（Tumble）

3.1 概念

滚动窗口 ：窗口大小 = 滚动距离（时间间隔）

特点：上一个窗口的结束就是下一个窗口的开始，数据不重复、也不丢失。

3.2 案例SQL

#1.创建source表
CREATE TABLE source_table ( 
 user_id STRING, 
 price BIGINT,
 `timestamp` bigint,
 row_time AS TO_TIMESTAMP(FROM_UNIXTIME(`timestamp`)),
 watermark for row_time as row_time - interval "0" second
) WITH (
  "connector" = "socket",
  "hostname" = "node1",
  "port" = "9999",
  "format" = "csv"
);
#2.语法
tumble(事件时间列,窗口大小)
窗口大小是用户自定义的。比如30分钟、1小时等。
直接把tumble窗口放在group by语句后即可。
比如：tumble(row_time,interval "5" second)
含义：定义一个5秒大小的滚动窗口。
#3.数据处理
select 
user_id,
count(*) as pv,
    sum(price) as sum_price,
UNIX_TIMESTAMP(CAST(tumble_start(row_time, interval "5" second) AS STRING)) * 1000  as window_start,
UNIX_TIMESTAMP(CAST(tumble_end(row_time, interval "5" second) AS STRING)) * 1000  as window_end
from source_table
group by
    user_id,
    tumble(row_time, interval "5" second);

到此这篇关于MySQL Flink实时流处理的核心技术之窗口机制的文章就介绍到这了,更多相关MySQL Flink窗口机制内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！