如何用Flink Apply對窗口內的數據流進行處理

這篇文章主要講解了“如何用Flink  Apply對窗口內的數據流進行處理”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“如何用Flink  Apply對窗口內的數據流進行處理”吧！

Apply算子：對窗口內的數據流進行處理

示例環境

java.version: 1.8.x
flink.version: 1.11.1

示例數據源 （項目碼云下載）

Flink 系例 之 搭建開發環境與數據

Apply.java

import com.flink.examples.DataSource;
import org.apache.flink.api.java.functions.KeySelector;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.windowing.WindowFunction;
import org.apache.flink.streaming.api.windowing.windows.GlobalWindow;
import org.apache.flink.util.Collector;

import java.util.Iterator;
import java.util.List;

/**
 * @Description Apply方法：對窗口內的數據流進行處理
 */
public class Apply {

    /**
     * 遍歷集合，分別打印不同性別的總人數與年齡之和
     * @param args
     * @throws Exception
     */
    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        List<Tuple3<String, String, Integer>> tuple3List = DataSource.getTuple3ToList();
        DataStream<String> dataStream = env.fromCollection(tuple3List)
                .keyBy((KeySelector<Tuple3<String, String, Integer>, String>) k -> k.f1)
                //按數量窗口滾動，每3個輸入窗口數據流，計算一次
                .countWindow(3)
                //只能基于Windowed窗口Stream進行調用
                .apply(
                        //WindowFunction<IN, OUT, KEY, W extends Window>
                        new WindowFunction<Tuple3<String, String, Integer>, String, String, GlobalWindow>() {
                            /**
                             * 處理窗口數據集合
                             * @param s         從keyBy里返回的key值
                             * @param window    窗口類型
                             * @param input     從窗口獲取的所有分區數據流
                             * @param out       輸出數據流對象
                             * @throws Exception
                             */
                            @Override
                            public void apply(String s, GlobalWindow window, Iterable<Tuple3<String, String, Integer>> input, Collector<String> out) throws Exception {
                                Iterator<Tuple3<String, String, Integer>> iterator = input.iterator();
                                int total = 0;
                                int i = 0;
                                while (iterator.hasNext()){
                                    Tuple3<String, String, Integer> tuple3 = iterator.next();
                                    total += tuple3.f2;
                                    i ++ ;
                                }
                                out.collect(s + "共:"+i+"人，累加總年齡：" + total);
                            }
                        });
        dataStream.print();
        env.execute("flink Filter job");
    }
}

打印結果

4> girl共:3人，累加總年齡：74
2> man共:3人，累加總年齡：79

感謝各位的閱讀，以上就是“如何用Flink  Apply對窗口內的數據流進行處理”的內容了，經過本文的學習后，相信大家對如何用Flink  Apply對窗口內的數據流進行處理這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！