merica-dlh/merica
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

docs: remove anti-blank canvas tip callout and refine terminology to starter seed pipelines

Browse Source
This commit is contained in:
syahril
2026-10-21 17:25:01 +07:00
parent 851be0cda7
commit aabdc41549
6 changed files with 9 additions and 12 deletions
Download Patch File Download Diff File Expand all files Collapse all files
README.md
+1 -4
View File
@@ -28,9 +28,6 @@ Setelah kontainer aktif dan sehat (*healthy*):
* **MERICA Canvas UI**: [`http://localhost:14000`](http://localhost:14000) * **MERICA Canvas UI**: [`http://localhost:14000`](http://localhost:14000)
* **Kredensial Default**: Username: `admin` | Password: `admin` * **Kredensial Default**: Username: `admin` | Password: `admin`
> [!TIP]
> **Anti-Blank Canvas Aktif**: Saat pertama kali dibuka, halaman **Pipelines** langsung menyajikan 3 template pipeline Medallion siap pakai (`e2e_modernized_ingestion_flow`, `e2e_medallion_permits_flow`, `e2e_orders_master_medallion_flow`) yang dapat langsung dieksplorasi atau diduplikasi!
--- ---
## 🏛️ Pilihan Mode Deployment ## 🏛️ Pilihan Mode Deployment
@@ -54,7 +51,7 @@ Seluruh panduan teknis tersedia terstruktur di dalam direktori `docs/`:
* 🗺️ **[Pusat Dokumentasi & Alur Membaca (Index Hub)](docs/index.md)**: Peta panduan lengkap dan rekomendasi alur membaca dokumen. * 🗺️ **[Pusat Dokumentasi & Alur Membaca (Index Hub)](docs/index.md)**: Peta panduan lengkap dan rekomendasi alur membaca dokumen.
* 🏛️ **[Arsitektur Sistem](docs/architecture.md)**: Topologi Single-Port Appliance (Port 14000), isolasi perimeter loopback, modul backend stateless, dan integrasi GitOps Airflow 3. * 🏛️ **[Arsitektur Sistem](docs/architecture.md)**: Topologi Single-Port Appliance (Port 14000), isolasi perimeter loopback, modul backend stateless, dan integrasi GitOps Airflow 3.
* 📦 **[Panduan Deployment & Build](docs/deployment_guide.md)**: Spesifikasi hardware ultra-ringan (~100MB RAM), instalasi cepat `setup.sh`, build image mandiri, dan upgrade runbook. * 📦 **[Panduan Deployment & Build](docs/deployment_guide.md)**: Spesifikasi hardware ultra-ringan (~100MB RAM), instalasi cepat `setup.sh`, build image mandiri, dan upgrade runbook.
* 📘 **[Panduan Integrasi External Airflow](docs/panduan_integrasi_existing_airflow.md)**: Dua metode penyiapan Airflow existing (**Metode 1: Tanpa Rebuild** dan **Metode 2: Build Ulang Image Resmi**) serta fitur Anti-Blank Canvas. * 📘 **[Panduan Integrasi External Airflow](docs/panduan_integrasi_existing_airflow.md)**: Dua metode penyiapan Airflow existing (**Metode 1: Tanpa Rebuild** dan **Metode 2: Build Ulang Image Resmi**) serta pengelolaan starter pipelines.
* 🎨 **[Panduan Penggunaan Canvas (User Guide)](docs/user_guide.md)**: Tata cara merancang pipeline visual, database introspection & safe preview, Google Workspace discovery, dlt REST API, dan Shift-Left dbt testing. * 🎨 **[Panduan Penggunaan Canvas (User Guide)](docs/user_guide.md)**: Tata cara merancang pipeline visual, database introspection & safe preview, Google Workspace discovery, dlt REST API, dan Shift-Left dbt testing.
--- ---
docs/architecture.md
+2 -2
View File
@@ -20,8 +20,8 @@ Dokumen ini menjelaskan rancang bangun teknis distribusi produksi **MERICA Low-C
* Total penggunaan sumber daya appliance sangat efisien: **RAM $\sim$ 100 MB** dan **CPU idle $< 1\%$**. * Total penggunaan sumber daya appliance sangat efisien: **RAM $\sim$ 100 MB** dan **CPU idle $< 1\%$**.
* State eksekusi dan metadata pipeline dialokasikan sepenuhnya ke kluster Apache Airflow dan PostgreSQL eksternal yang dikonfigurasi melalui berkas `.env`. * State eksekusi dan metadata pipeline dialokasikan sepenuhnya ke kluster Apache Airflow dan PostgreSQL eksternal yang dikonfigurasi melalui berkas `.env`.
3. **Dukungan Dual-Mode Pipelines SSOT (Anti-Blank Canvas & GitOps)**: 3. **Dukungan Dual-Mode Pipelines SSOT (Starter Pipelines & GitOps)**:
* **Mode A: Local Mount Starter Pipelines** (`PIPELINES_DIR=./pipelines`): Menyediakan 3 template pipeline siap pakai secara *out-of-the-box* sehingga kanvas tidak kosong (*Anti-Blank Canvas*). * **Mode A: Local Mount Starter Pipelines** (`PIPELINES_DIR=./pipelines`): Menyediakan 3 template pipeline siap pakai secara *out-of-the-box* sehingga daftar pipeline langsung tersedia.
* **Mode B: Git DAG Bundles (AIP-66)**: Airflow DAG Processor secara mandiri memantau repositori Git pipeline (`merica-pipelines.git`) setiap 30 detik untuk *Zero-Downtime Hot-Reload*. * **Mode B: Git DAG Bundles (AIP-66)**: Airflow DAG Processor secara mandiri memantau repositori Git pipeline (`merica-pipelines.git`) setiap 30 detik untuk *Zero-Downtime Hot-Reload*.
4. **Shift-Left Pre-Flight Verification**: 4. **Shift-Left Pre-Flight Verification**:
docs/deployment_guide.md
+1 -1
View File
@@ -91,7 +91,7 @@ POSTGRES_USER=airflow
POSTGRES_PASSWORD=airflow POSTGRES_PASSWORD=airflow
# --- Penyimpanan Pipeline SSOT (Pilih Salah Satu Mode) --- # --- Penyimpanan Pipeline SSOT (Pilih Salah Satu Mode) ---
# Mode 1 (Default): Mount starter pipelines lokal untuk menjamin Canvas langsung terisi (Anti-Blank Canvas): # Mode 1 (Default): Mount starter pipelines lokal untuk menjamin daftar pipeline langsung terisi:
PIPELINES_DIR=./pipelines PIPELINES_DIR=./pipelines
# Mode 2 (GitOps Enterprise): Arahkan ke repositori Git yang disinkronkan via Airflow AIP-66 Git DAG Bundles: # Mode 2 (GitOps Enterprise): Arahkan ke repositori Git yang disinkronkan via Airflow AIP-66 Git DAG Bundles:
docs/index.md
+2 -2
View File
@@ -28,7 +28,7 @@ flowchart TD
| :---: | :--- | :--- | :--- | | :---: | :--- | :--- | :--- |
| **1** | [**Arsitektur Platform**](./architecture.md) | Software Architect, Data Architect | Rancang bangun Single-Port Appliance (Port 14000), isolasi perimeter loopback, arsitektur modul stateless, dan integrasi GitOps Airflow 3. | | **1** | [**Arsitektur Platform**](./architecture.md) | Software Architect, Data Architect | Rancang bangun Single-Port Appliance (Port 14000), isolasi perimeter loopback, arsitektur modul stateless, dan integrasi GitOps Airflow 3. |
| **2** | [**Panduan Deployment & Build**](./deployment_guide.md) | DevOps, System Administrator | Spesifikasi hardware ultra-ringan (~100MB RAM), instalasi sekali-klik via `setup.sh`, build image mandiri, dan upgrade runbook. | | **2** | [**Panduan Deployment & Build**](./deployment_guide.md) | DevOps, System Administrator | Spesifikasi hardware ultra-ringan (~100MB RAM), instalasi sekali-klik via `setup.sh`, build image mandiri, dan upgrade runbook. |
| **3** | [**Panduan Integrasi Airflow External**](./panduan_integrasi_existing_airflow.md) | Data Platform Engineer, DevOps | Cara menghubungkan MERICA ke Airflow existing via **Metode 1 (Tanpa Rebuild)** atau **Metode 2 (Build Ulang Image Resmi)**, serta fitur Anti-Blank Canvas. | | **3** | [**Panduan Integrasi Airflow External**](./panduan_integrasi_existing_airflow.md) | Data Platform Engineer, DevOps | Cara menghubungkan MERICA ke Airflow existing via **Metode 1 (Tanpa Rebuild)** atau **Metode 2 (Build Ulang Image Resmi)**, serta pengelolaan starter pipelines. |
| **4** | [**Panduan Pengguna (User Guide)**](./user_guide.md) | Data Engineer, Analytics Engineer | Panduan visual drag-and-drop di Canvas, katalog komponen lakehouse, GWS discovery, DB introspection & safe preview, dlt REST API, dan Shift-Left dbt testing. | | **4** | [**Panduan Pengguna (User Guide)**](./user_guide.md) | Data Engineer, Analytics Engineer | Panduan visual drag-and-drop di Canvas, katalog komponen lakehouse, GWS discovery, DB introspection & safe preview, dlt REST API, dan Shift-Left dbt testing. |
--- ---
@@ -62,7 +62,7 @@ release/merica/
│ ├── deployment_guide.md # Panduan instalasi, build, dan pemeliharaan │ ├── deployment_guide.md # Panduan instalasi, build, dan pemeliharaan
│ ├── panduan_integrasi_existing_airflow.md # Integrasi kluster Airflow eksternal │ ├── panduan_integrasi_existing_airflow.md # Integrasi kluster Airflow eksternal
│ └── user_guide.md # Panduan visual perancangan pipeline di Canvas │ └── user_guide.md # Panduan visual perancangan pipeline di Canvas
├── pipelines/ # Starter Pipelines (Anti-Blank Canvas) ├── pipelines/ # Starter Seed Pipelines (Template Awal)
│ ├── configs/ # Kontrak deklaratif YAML Airflow │ ├── configs/ # Kontrak deklaratif YAML Airflow
│ ├── metadata/ # Posisi visual node & edge kanvas ReactFlow │ ├── metadata/ # Posisi visual node & edge kanvas ReactFlow
│ └── dbt/ # Proyek dbt Medallion (Silver & Gold models) │ └── dbt/ # Proyek dbt Medallion (Silver & Gold models)
docs/panduan_integrasi_existing_airflow.md
+1 -1
View File
@@ -132,7 +132,7 @@ Lalu deploy ulang kontainer (`docker compose up -d` atau `kubectl rollout restar
--- ---
## 🎨 3. Fitur "Anti-Blank Canvas" (Jaminan DAGs List Langsung Muncul) ## 🎨 3. Starter Seed Pipelines (Jaminan Daftar DAGs Langsung Tersedia)
### Kenapa Fitur Ini Ada? ### Kenapa Fitur Ini Ada?
MERICA adalah backend *stateless file-based*. Jika kontainer berdiri sendiri tanpa mount volume, sistem akan membaca folder kosong sehingga daftar pipeline di halaman web akan kosong (*blank*), yang sering kali menimbulkan kebingungan bagi pengguna baru. MERICA adalah backend *stateless file-based*. Jika kontainer berdiri sendiri tanpa mount volume, sistem akan membaca folder kosong sehingga daftar pipeline di halaman web akan kosong (*blank*), yang sering kali menimbulkan kebingungan bagi pengguna baru.
docs/user_guide.md
+2 -2
View File
@@ -19,8 +19,8 @@ http://<ip-server-merica>:14000
* **Username**: `admin` * **Username**: `admin`
* **Password**: `admin` * **Password**: `admin`
### Tampilan Awal: Pipelines Explorer (Anti-Blank Canvas) ### Tampilan Awal: Pipelines Explorer (Starter Pipelines)
Setelah masuk, Anda akan langsung disajikan halaman **Pipelines Explorer**. MERICA dilengkapi fitur *Anti-Blank Canvas* dengan 3 pipeline produksi siap pakai: Setelah masuk, Anda akan langsung disajikan halaman **Pipelines Explorer** dengan 3 contoh pipeline produksi siap pakai:
1. `e2e_modernized_ingestion_flow`: Pipeline ingestion modern yang menggabungkan Database CDC Sling, Google Spreadsheet Auto-Cleansing, dan dlt REST API. 1. `e2e_modernized_ingestion_flow`: Pipeline ingestion modern yang menggabungkan Database CDC Sling, Google Spreadsheet Auto-Cleansing, dan dlt REST API.
2. `e2e_medallion_permits_flow`: Pipeline perizinan Medallion (Bronze Parquet $\to$ Silver Iceberg $\to$ Gold dbt Mart). 2. `e2e_medallion_permits_flow`: Pipeline perizinan Medallion (Bronze Parquet $\to$ Silver Iceberg $\to$ Gold dbt Mart).
3. `e2e_orders_master_medallion_flow`: Pipeline master order e-commerce dengan deduplikasi DuckDB dan quality gate Great Expectations. 3. `e2e_orders_master_medallion_flow`: Pipeline master order e-commerce dengan deduplikasi DuckDB dan quality gate Great Expectations.