70 lines
3.2 KiB
Markdown
70 lines
3.2 KiB
Markdown
# 🚀 MERICA — Low-Code Data Lakehouse Platform (Production Release)
|
|
|
|
**MERICA** (*Managed Engine for Robust Ingestion & Cloud Airflow*) adalah platform visual low-code mandiri khusus Data Engineer untuk merancang, mengonfigurasi, dan menyusun task DAG Apache Airflow secara deklaratif tanpa menulis boilerplate Python manual.
|
|
|
|
Paket rilis ini adalah **Clean Production Appliance** yang dapat dijalankan secara mandiri (*standalone*) dan langsung dihubungkan ke kluster **Apache Airflow eksternal** yang sudah ada.
|
|
|
|
---
|
|
|
|
## ⚡ Panduan Cepat Memulai (Quick Start 2 Menit)
|
|
|
|
### 1. Salin Berkas Konfigurasi Lingkungan
|
|
```bash
|
|
cp .env.example .env
|
|
```
|
|
Sesuaikan `AIRFLOW_WEB_URL` mengarah ke alamat server Apache Airflow existing Anda (default: `http://host.docker.internal:14080`).
|
|
|
|
### 2. Jalankan Script Setup Sekali Klik
|
|
```bash
|
|
bash ./setup.sh
|
|
```
|
|
*Atau jalankan manual:*
|
|
```bash
|
|
docker compose up -d
|
|
```
|
|
|
|
### 3. Akses Antarmuka Web
|
|
Setelah kontainer aktif dan sehat (*healthy*):
|
|
* **MERICA Canvas UI**: [`http://localhost:14000`](http://localhost:14000)
|
|
* **Kredensial Default**: Username: `admin` | Password: `admin`
|
|
|
|
> [!TIP]
|
|
> **Anti-Blank Canvas Aktif**: Saat pertama kali dibuka, halaman **Pipelines** langsung menyajikan 3 template pipeline Medallion siap pakai (`e2e_modernized_ingestion_flow`, `e2e_medallion_permits_flow`, `e2e_orders_master_medallion_flow`) yang dapat langsung dieksplorasi atau diduplikasi!
|
|
|
|
---
|
|
|
|
## 🏛️ Pilihan Mode Deployment
|
|
|
|
| Mode Deployment | Berkas Compose | Keterangan |
|
|
| :--- | :--- | :--- |
|
|
| **1. Standalone Appliance (Default)** | `docker-compose.yml` | **Hanya 1 kontainer `merica`** (Port 14000, RAM ~100MB). Terhubung ke kluster Apache Airflow, PostgreSQL, dan MinIO eksternal. |
|
|
| **2. All-in-One Appliance (Demo)** | `docker-compose.all-in-one.yml` | Menjalankan MERICA bersama Apache Airflow 3 tertanam (Webserver: 14080, Scheduler, DAG Processor) untuk evaluasi lokal di 1 mesin. |
|
|
|
|
Untuk menjalankan mode All-in-One (dengan Airflow lokal):
|
|
```bash
|
|
docker compose -f docker-compose.all-in-one.yml up -d
|
|
```
|
|
|
|
---
|
|
|
|
## 📚 Dokumentasi Lengkap
|
|
|
|
Seluruh panduan teknis tersedia terstruktur di dalam direktori `docs/`:
|
|
|
|
* 🗺️ **[Pusat Dokumentasi & Alur Membaca (Index Hub)](docs/index.md)**: Peta panduan lengkap dan rekomendasi alur membaca dokumen.
|
|
* 🏛️ **[Arsitektur Sistem](docs/architecture.md)**: Topologi Single-Port Appliance (Port 14000), isolasi perimeter loopback, modul backend stateless, dan integrasi GitOps Airflow 3.
|
|
* 📦 **[Panduan Deployment & Build](docs/deployment_guide.md)**: Spesifikasi hardware ultra-ringan (~100MB RAM), instalasi cepat `setup.sh`, build image mandiri, dan upgrade runbook.
|
|
* 📘 **[Panduan Integrasi External Airflow](docs/panduan_integrasi_existing_airflow.md)**: Dua metode penyiapan Airflow existing (**Metode 1: Tanpa Rebuild** dan **Metode 2: Build Ulang Image Resmi**) serta fitur Anti-Blank Canvas.
|
|
* 🎨 **[Panduan Penggunaan Canvas (User Guide)](docs/user_guide.md)**: Tata cara merancang pipeline visual, database introspection & safe preview, Google Workspace discovery, dlt REST API, dan Shift-Left dbt testing.
|
|
|
|
---
|
|
|
|
## 🛑 Menghentikan Layanan
|
|
```bash
|
|
docker compose down
|
|
```
|
|
Untuk menghentikan dan membersihkan volume data:
|
|
```bash
|
|
docker compose down -v
|
|
```
|