Archive

0. Overview 1. Programming Model 1.1. Basic Concepts 1.2. Handling Event-time and Late Data 1.3. Fault Tolerance Semantic 0. Overview Structured Streaming 는 Spark SQL 엔진을 기반으로 Streaming 처리를 위해 사용되는 라이브러리로, fast, scalable, fault-tolerant, end-to-end exactly-once stream processing 을 제공한다 내부적으로는 Micro-batch 형태로 처리하며, Dataset/DataFrame API를 사용하여 streaming aggregations, event-time windows, stream-to-..