好程序員-千鋒教育旗下高端IT職業教育品牌
官方微信
2022-07-29
序列化 類型 數據 flink
怎么提高Flink的執行性能(代碼方面)
通用的優化方式4. 一些基數較少的并且本身較長維度可以采用數據字典的方式減少網絡傳輸及內存占用、gc開銷。
數據類型和序列化Flink支持java、scala基本數據類型，以及java Tuples、scala Case Class、Flink Value，對于這些數據類型，flink會采用自身的序列化反序列化器去做序列化操作，對于其他數據類型，flink會采用kyro方式序列化，kyro序列化方式效率會比flink自帶的方式低很多。因此在數據序列化方面我們可以做如下工作
3. 如果使用了lambda或者泛型的話，顯式的指定類型信息讓flink類型提取系統識別到以提升性能。
多組相同keyby可使用DataStreamUtils在多組keyby的場景可以采用DataStreamUtils.reinterpretAsKeyedStream的方式避免多次shuffle操作
盡量減少狀態的大小3. checkpoint頻率不宜過高，超時時間不要太長，可以異步化的地方盡量異步化
掃碼開啟架構師蛻變之旅 >>
開班時間：2021-04-12（深圳）
開班盛況開班時間：2021-05-17（北京）
開班盛況開班時間：2021-03-22（杭州）
開班盛況開班時間：2021-04-26（北京）
開班盛況開班時間：2021-05-10（北京）
開班盛況開班時間：2021-02-22（北京）
開班盛況開班時間：2021-07-12（北京）
預約報名開班時間：2020-09-21（上海）
開班盛況開班時間：2021-07-12（北京）
預約報名開班時間：2019-07-22（北京）
開班盛況
Copyright 2011-2023 北京千鋒互聯科技有限公司 .All Right
京ICP備12003911號-5
京公網安備 11010802035720號
