丁香花高清在线完整版,聚会的目的韩国电影,办公室椅子上,少女在线观看高清完整版免费动漫,无码人妻av久久久一区二区三区

千鋒教(jiao)育(yu)-做有情懷、有良心(xin)、有品質(zhi)的(de)職業教(jiao)育(yu)機構

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進(jin)入千鋒(feng)手機站

領取全套視頻
千鋒教育

關注千鋒學習站小程序
隨時(shi)隨地免(mian)費學習課(ke)程

當前位置(zhi):首頁  >  應聘面試  >  大數據面試題  > 大數據面數據:Flink Allowed Lateness & Side OutPut?

大數據面數據:Flink Allowed Lateness & Side OutPut?

來源:千鋒教育
發布人:wjy
時間: 2022-09-02 16:59:00 1662109140

雖說水位線(Watermark)表明(ming)早于它(ta)的事件(jian)不應該(gai)再出(chu)現,但是接收到水位線以前的的消息(xi)是不可避免的,這(zhe)就是所謂的遲(chi)到事件(jian)。實際上遲(chi)到事件(jian)是亂(luan)(luan)序(xu)事件(jian)的特例,和一般(ban)亂(luan)(luan)序(xu)事件(jian)不同的是它(ta)們(men)的亂(luan)(luan)序(xu)程(cheng)度超(chao)出(chu)了水位線的預計,導致(zhi)窗口在它(ta)們(men)到達之(zhi)前已經關閉。

遲到(dao)事(shi)件出(chu)(chu)現時窗口已經關閉并產出(chu)(chu)了計算結果,因此處理的方(fang)法有3種: 

- 重新激活已經關閉的(de)窗(chuang)口(kou)并重新計算以修正結果。

- 將遲到事件收集起(qi)來另外(wai)處理。 

- 將遲到事件(jian)視(shi)為(wei)錯(cuo)誤消(xiao)息并丟棄。

Flink 默認(ren)的處理方式是第(di)3種直(zhi)接丟棄,其他兩(liang)種方式分別使用Allowed Lateness和(he) Side Output。

Side Output機制(zhi)可以將遲(chi)(chi)到(dao)事件單獨放入一個數據流(liu)分支,這會(hui)作(zuo)為 window計算結果的副(fu)產品,以便(bian)用(yong)戶獲取并(bing)對(dui)其(qi)進行特殊(shu)處理。Allowed Lateness機制(zhi)允(yun)許用(yong)戶設置一個允(yun)許的最大遲(chi)(chi)到(dao)時長。

Flink 會(hui)在(zai)窗口(kou)關閉后一直(zhi)保存(cun)窗口(kou)的(de)狀態直(zhi)至超過允(yun)許遲到時長(chang),這期間的(de)遲到事件(jian)不會(hui)被丟(diu)棄(qi),而是默認會(hui)觸發窗口(kou)重(zhong)新計算。

因為保(bao)存(cun)窗口(kou)(kou)狀態需要額(e)外(wai)內(nei)存(cun),并且如果窗口(kou)(kou)計算使(shi)用(yong)了 ProcessWindowFunction API 還可能使(shi)得每個遲到(dao)事(shi)件觸(chu)發一次(ci)窗口(kou)(kou)的全量計算,代價比(bi)較大,所(suo)以(yi)允許遲到(dao)時(shi)長(chang)不(bu)宜(yi)設得太長(chang),遲到(dao)事(shi)件也不(bu)宜(yi)過多,否則應該考慮降(jiang)低水位線提高的速度或者調(diao)整(zheng)算法。 

這(zhe)里(li)總(zong)結機制為: 

- 窗口window 的作用是為了周期性的獲取數據。 

- watermark的作用是防止數據(ju)出現(xian)亂序(經常(chang)),事件時間內獲取(qu)不到(dao)指定的全部數據(ju),而做的一種保險方(fang)法。 

- allowLateNess是將窗(chuang)口關閉時間(jian)再延遲一段時間(jian)。 

- sideOutPut是最后兜(dou)底操作,所有過期(qi)延遲數據(ju),指(zhi)定窗(chuang)口已經徹底關(guan)閉了,就會把數據(ju)放(fang)到側輸出流(liu)。

tags:
聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。
10年以上業內強師集結,手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通
免費領取
今日已有369人領取成功
劉同學 138****2860 剛剛成功領取
王同學 131****2015 剛剛成功領取
張同學 133****4652 剛剛成功領取
李同學 135****8607 剛剛成功領取
楊同學 132****5667 剛剛成功領取
岳同學 134****6652 剛剛成功領取
梁同學 157****2950 剛剛成功領取
劉同學 189****1015 剛剛成功領取
張同學 155****4678 剛剛成功領取
鄒同學 139****2907 剛剛成功領取
董同學 138****2867 剛剛成功領取
周同學 136****3602 剛剛成功領取
相關推薦HOT