java时间戳动态,是否可以根据窗口元素的时间戳动态生成BigQuery表名?
例如,如果我有一個5分鐘窗口的數據流流媒體作業從PubSub讀取,我理解如果我將一個超過兩天的時間戳分配給一個元素,將會有一個帶有此元素的窗口,如果我使用的示例將每日表輸出到BigQueryIO.java中描述的BigQuery,該作業將使用實際日期在BigQuery表中寫入過去兩天的元素 .
我想將過去的元素寫入BigQuery表中,并使用窗口元素的時間戳而不是當前窗口的時間,是否可能?
現在我按照DataflowJavaSDK / sdk / src / main / java / com / google / cloud / dataflow / sdk / io / BigQueryIO.java中描述的示例:
PCollection quotes = ...
quotes.apply(Window.info(CalendarWindows.days(1)))
.apply(BigQueryIO.Write
.named("Write")
.withSchema(schema)
.to(new SerializableFunction() {
public String apply(BoundedWindow window) {
String dayString = DateTimeFormat.forPattern("yyyy_MM_dd").parseDateTime(
((DaysWindow) window).getStartDate());
return "my-project:output.output_table_" + dayString;
}
}));
總結
以上是生活随笔為你收集整理的java时间戳动态,是否可以根据窗口元素的时间戳动态生成BigQuery表名?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: php 替换某一行,PHP中如何替换换行
- 下一篇: 2008搭建php运行环镜,Win200