diff --git a/README.md b/README.md index 48ef7df..83a4044 100644 --- a/README.md +++ b/README.md @@ -28,9 +28,6 @@ Setelah kontainer aktif dan sehat (*healthy*): * **MERICA Canvas UI**: [`http://localhost:14000`](http://localhost:14000) * **Kredensial Default**: Username: `admin` | Password: `admin` -> [!TIP] -> **Anti-Blank Canvas Aktif**: Saat pertama kali dibuka, halaman **Pipelines** langsung menyajikan 3 template pipeline Medallion siap pakai (`e2e_modernized_ingestion_flow`, `e2e_medallion_permits_flow`, `e2e_orders_master_medallion_flow`) yang dapat langsung dieksplorasi atau diduplikasi! - --- ## πŸ›οΈ Pilihan Mode Deployment @@ -54,7 +51,7 @@ Seluruh panduan teknis tersedia terstruktur di dalam direktori `docs/`: * πŸ—ΊοΈ **[Pusat Dokumentasi & Alur Membaca (Index Hub)](docs/index.md)**: Peta panduan lengkap dan rekomendasi alur membaca dokumen. * πŸ›οΈ **[Arsitektur Sistem](docs/architecture.md)**: Topologi Single-Port Appliance (Port 14000), isolasi perimeter loopback, modul backend stateless, dan integrasi GitOps Airflow 3. * πŸ“¦ **[Panduan Deployment & Build](docs/deployment_guide.md)**: Spesifikasi hardware ultra-ringan (~100MB RAM), instalasi cepat `setup.sh`, build image mandiri, dan upgrade runbook. -* πŸ“˜ **[Panduan Integrasi External Airflow](docs/panduan_integrasi_existing_airflow.md)**: Dua metode penyiapan Airflow existing (**Metode 1: Tanpa Rebuild** dan **Metode 2: Build Ulang Image Resmi**) serta fitur Anti-Blank Canvas. +* πŸ“˜ **[Panduan Integrasi External Airflow](docs/panduan_integrasi_existing_airflow.md)**: Dua metode penyiapan Airflow existing (**Metode 1: Tanpa Rebuild** dan **Metode 2: Build Ulang Image Resmi**) serta pengelolaan starter pipelines. * 🎨 **[Panduan Penggunaan Canvas (User Guide)](docs/user_guide.md)**: Tata cara merancang pipeline visual, database introspection & safe preview, Google Workspace discovery, dlt REST API, dan Shift-Left dbt testing. --- diff --git a/docs/architecture.md b/docs/architecture.md index fae71a7..44e4038 100644 --- a/docs/architecture.md +++ b/docs/architecture.md @@ -20,8 +20,8 @@ Dokumen ini menjelaskan rancang bangun teknis distribusi produksi **MERICA Low-C * Total penggunaan sumber daya appliance sangat efisien: **RAM $\sim$ 100 MB** dan **CPU idle $< 1\%$**. * State eksekusi dan metadata pipeline dialokasikan sepenuhnya ke kluster Apache Airflow dan PostgreSQL eksternal yang dikonfigurasi melalui berkas `.env`. -3. **Dukungan Dual-Mode Pipelines SSOT (Anti-Blank Canvas & GitOps)**: - * **Mode A: Local Mount Starter Pipelines** (`PIPELINES_DIR=./pipelines`): Menyediakan 3 template pipeline siap pakai secara *out-of-the-box* sehingga kanvas tidak kosong (*Anti-Blank Canvas*). +3. **Dukungan Dual-Mode Pipelines SSOT (Starter Pipelines & GitOps)**: + * **Mode A: Local Mount Starter Pipelines** (`PIPELINES_DIR=./pipelines`): Menyediakan 3 template pipeline siap pakai secara *out-of-the-box* sehingga daftar pipeline langsung tersedia. * **Mode B: Git DAG Bundles (AIP-66)**: Airflow DAG Processor secara mandiri memantau repositori Git pipeline (`merica-pipelines.git`) setiap 30 detik untuk *Zero-Downtime Hot-Reload*. 4. **Shift-Left Pre-Flight Verification**: diff --git a/docs/deployment_guide.md b/docs/deployment_guide.md index 7585847..e54b135 100644 --- a/docs/deployment_guide.md +++ b/docs/deployment_guide.md @@ -91,7 +91,7 @@ POSTGRES_USER=airflow POSTGRES_PASSWORD=airflow # --- Penyimpanan Pipeline SSOT (Pilih Salah Satu Mode) --- -# Mode 1 (Default): Mount starter pipelines lokal untuk menjamin Canvas langsung terisi (Anti-Blank Canvas): +# Mode 1 (Default): Mount starter pipelines lokal untuk menjamin daftar pipeline langsung terisi: PIPELINES_DIR=./pipelines # Mode 2 (GitOps Enterprise): Arahkan ke repositori Git yang disinkronkan via Airflow AIP-66 Git DAG Bundles: diff --git a/docs/index.md b/docs/index.md index 6126821..8f339c8 100644 --- a/docs/index.md +++ b/docs/index.md @@ -28,7 +28,7 @@ flowchart TD | :---: | :--- | :--- | :--- | | **1** | [**Arsitektur Platform**](./architecture.md) | Software Architect, Data Architect | Rancang bangun Single-Port Appliance (Port 14000), isolasi perimeter loopback, arsitektur modul stateless, dan integrasi GitOps Airflow 3. | | **2** | [**Panduan Deployment & Build**](./deployment_guide.md) | DevOps, System Administrator | Spesifikasi hardware ultra-ringan (~100MB RAM), instalasi sekali-klik via `setup.sh`, build image mandiri, dan upgrade runbook. | -| **3** | [**Panduan Integrasi Airflow External**](./panduan_integrasi_existing_airflow.md) | Data Platform Engineer, DevOps | Cara menghubungkan MERICA ke Airflow existing via **Metode 1 (Tanpa Rebuild)** atau **Metode 2 (Build Ulang Image Resmi)**, serta fitur Anti-Blank Canvas. | +| **3** | [**Panduan Integrasi Airflow External**](./panduan_integrasi_existing_airflow.md) | Data Platform Engineer, DevOps | Cara menghubungkan MERICA ke Airflow existing via **Metode 1 (Tanpa Rebuild)** atau **Metode 2 (Build Ulang Image Resmi)**, serta pengelolaan starter pipelines. | | **4** | [**Panduan Pengguna (User Guide)**](./user_guide.md) | Data Engineer, Analytics Engineer | Panduan visual drag-and-drop di Canvas, katalog komponen lakehouse, GWS discovery, DB introspection & safe preview, dlt REST API, dan Shift-Left dbt testing. | --- @@ -62,7 +62,7 @@ release/merica/ β”‚ β”œβ”€β”€ deployment_guide.md # Panduan instalasi, build, dan pemeliharaan β”‚ β”œβ”€β”€ panduan_integrasi_existing_airflow.md # Integrasi kluster Airflow eksternal β”‚ └── user_guide.md # Panduan visual perancangan pipeline di Canvas -β”œβ”€β”€ pipelines/ # Starter Pipelines (Anti-Blank Canvas) +β”œβ”€β”€ pipelines/ # Starter Seed Pipelines (Template Awal) β”‚ β”œβ”€β”€ configs/ # Kontrak deklaratif YAML Airflow β”‚ β”œβ”€β”€ metadata/ # Posisi visual node & edge kanvas ReactFlow β”‚ └── dbt/ # Proyek dbt Medallion (Silver & Gold models) diff --git a/docs/panduan_integrasi_existing_airflow.md b/docs/panduan_integrasi_existing_airflow.md index bde9eee..ac3e7af 100644 --- a/docs/panduan_integrasi_existing_airflow.md +++ b/docs/panduan_integrasi_existing_airflow.md @@ -132,7 +132,7 @@ Lalu deploy ulang kontainer (`docker compose up -d` atau `kubectl rollout restar --- -## 🎨 3. Fitur "Anti-Blank Canvas" (Jaminan DAGs List Langsung Muncul) +## 🎨 3. Starter Seed Pipelines (Jaminan Daftar DAGs Langsung Tersedia) ### Kenapa Fitur Ini Ada? MERICA adalah backend *stateless file-based*. Jika kontainer berdiri sendiri tanpa mount volume, sistem akan membaca folder kosong sehingga daftar pipeline di halaman web akan kosong (*blank*), yang sering kali menimbulkan kebingungan bagi pengguna baru. diff --git a/docs/user_guide.md b/docs/user_guide.md index f8c9de1..fb6a8a4 100644 --- a/docs/user_guide.md +++ b/docs/user_guide.md @@ -19,8 +19,8 @@ http://:14000 * **Username**: `admin` * **Password**: `admin` -### Tampilan Awal: Pipelines Explorer (Anti-Blank Canvas) -Setelah masuk, Anda akan langsung disajikan halaman **Pipelines Explorer**. MERICA dilengkapi fitur *Anti-Blank Canvas* dengan 3 pipeline produksi siap pakai: +### Tampilan Awal: Pipelines Explorer (Starter Pipelines) +Setelah masuk, Anda akan langsung disajikan halaman **Pipelines Explorer** dengan 3 contoh pipeline produksi siap pakai: 1. `e2e_modernized_ingestion_flow`: Pipeline ingestion modern yang menggabungkan Database CDC Sling, Google Spreadsheet Auto-Cleansing, dan dlt REST API. 2. `e2e_medallion_permits_flow`: Pipeline perizinan Medallion (Bronze Parquet $\to$ Silver Iceberg $\to$ Gold dbt Mart). 3. `e2e_orders_master_medallion_flow`: Pipeline master order e-commerce dengan deduplikasi DuckDB dan quality gate Great Expectations.