داده‌های زمان واقعی (Real-time data) دیگر یک قابلیت لوکس برای برنامه‌های مدرن نیستند، بلکه انتظاری پایه محسوب می‌شوند. اما پر کردن شکاف بین ثبت لحظه‌ای رویدادها و تجمع تحلیل‌های معنادار، یک چالش مداوم مهندسی است. بدون یک زیربنای ذخیره‌سازی واحد، خطوط لوله جریان‌سازی (Streaming pipelines) و پردازش دسته‌ای به معماری‌های شکننده و پرهزینه‌ای تبدیل می‌شوند که خطر خرابی داده‌ها را به همراه دارند. این فصل بررسی می‌کند که چگونه دلتا لیک (Delta Lake) مرز مصنوعی بین پردازش جریان و دسته را از بین می‌برد. جریان‌سازی را مانند نوشیدن آب مستقیم از یک شلنگ آتش‌نشانی پرفشار تصور کنید، در حالی که پردازش دسته‌ای شبیه پر کردن یک استخر بزرگ در طول شب است؛ دلتا لیک مانند یک مخزن هوشمند عمل می‌کند که هر دو روش را به طور همزمان و بدون هدر رفتن قطره‌ای از داده مدیریت می‌کند. در قلب این قابلیت، هم‌افزایی عمیق میان جریان‌سازی و دلتا لیک قرار دارد؛ جایی که جداول به راحتی هم به عنوان دلتا به عنوان مبدأ (Delta as Source) برای مصرف پایین‌دست و هم به عنوان دلتا به عنوان مقصد (Delta as Sink) برای جریان‌های ورودی عمل می‌کنند. درک تفاوت‌های بنیادین جریان‌سازی در برابر پردازش دسته‌ای، میزان تاخیر (Latency) و سربار عملیاتی سیستم شما را تعیین می‌کند. برای پایدار نگه داشتن زیرساخت، باید گزینه‌های جریان‌سازی دلتا را بشناسید، از جمله نحوه محدود کردن نرخ ورودی (Limit the Input Rate) برای جلوگیری از غافلگیر شدن کارگران پایین‌دست، و نحوه تصمیم‌گیری درباره اینکه آیا می‌خواهید به‌روزرسانی‌ها یا حذف‌ها را نادیده بگیرید (Ignore Updates or Deletes). کنترل نقطه شروع خط لوله نیز حیاتی است. تنظیم موقعیت پردازش اولیه و استفاده از تصویر اولیه با ترتیب زمانی رویداد (Initial Snapshot with withEventTimeOrder) تضمین می‌کند که داده‌های تاریخی به صورت قابل پیش‌بینی و ترتیبی دریافت شوند. برای مهندسان ارشد، تسلط بر استفاده پیشرفته با آپاچی اسپارک و نوشتن نوشتن جریان هم‌توان (Idempotent Stream Writes) معنای پردازش دقیقاً یک‌باره (Exactly-once processing) را تضمین می‌کند. نظارت بر معیارهای عملکرد دلتا لیک به شما اجازه می‌دهد گلوگاه‌ها را قبل از تبدیل شدن به قطعی شناسایی کنید. برای ساده‌سازی این عملیات، اکوسیستم‌های مدرن به بارگذار خودکار و جداول زنده دلتا تکیه می‌کنند. بارگذار خودکار (Auto Loader) دریافت فایل از ذخیره‌سازی ابری را خودکار می‌کند، در حالی که جداول زنده دلتا (Delta Live Tables) مدیریت اعلامی خطوط لوله را به دریاچه-انبار داده می‌آورد. در نهایت، هنگامی که به انتشار دقیق تغییرات در سطح رکورد نیاز دارید، فریم تغییر داده‌ها (Change Data Feed) و استفاده از فریم تغییر داده‌ها جریانی کارآمد از درج‌ها و به‌روزرسانی‌ها را فراهم می‌کنند که همگی توسط یک طنابی (Schema) سخت‌گیرانه مدیریت می‌شوند. بده‌بستان (Trade-off) اصلی آشکار شده در اینجا، تنش بین پیچیدگی عملیاتی و تازگی داده است: فشار برای رسیدن به تاخیر صفر مطلق، مصرف منابع را بالا می‌برد، در حالی که بازه‌های دسته‌ای، بینش‌های آنی کسب‌وکار را فدای سادگی مکانیکی می‌کنند. [ ] پیکربندی یک جدول دلتا لیک به عنوان مبدأ و مقصد جریان‌سازی به صورت همزمان [ ] پیاده‌سازی گزینه‌های محدودسازی نرخ برای محافظت از خطوط لوله در برابر ترافیک ناگهانی [ ] تنظیم نوشتن جریان هم‌توان برای تضمین معنای اجرای دقیقاً یک‌باره [ ] راه‌اندازی بارگذار خودکار برای دریافت روان فایل از ذخیره‌سازی ابری [ ] فعال‌سازی فریم تغییر داده‌ها برای ثبت کارآمد تغییرات در سطح رکورد