[Kibana][Solution] Timestamp DataFormat (Timestamp Field 등록이 안될 때)

Kibana Index애서 Timestamp 를 활용하기 위해선 아래와 같은 데이터 형식으로 맞추어 주어야 한다.

 

• "yyyy-MM-dd" 
  ex) "2022-06-18"
• "yyyy-MM-dd'T'HH:mm:ss"
  ex) "2022-06-18'T'18:44:42"
• "yyyy-MM-dd'T'HH:mm+/-HH:mm"
  ex) "2022-06-18'T'18:44:42+09:00"
• "yyyy-MM-dd'T'HH:mm.ss.SSS'Z'"
  ex) "2022-06-18'T'18:44:420Z"

 

위와 같은 ISO8601 형식이 아니면 Text, Keyword, 혹은 Long타입으로 인식 되기도 한다. 

ES 적재 전 date format을 위의 형식으로 맞추어 주어야 Timestamp로 인식되며, Kibana Index Pattern에 등록하여 활용할 수 있다. 

 

 

 

ex) Pyspark

df = df\
.withColumn("timestamp", col("@timestamp"),"yyyy-MM-dd'T'HH:mm:ss.SSS'Z'")\
.select("timestamp")

 

 

 

Reference
https://esbook.kimjmin.net/07-settings-and-mappings/7.2-mappings/7.2.3-date