chore(release): standardize enterprise documentation and asset integrity
This commit is contained in:
+8
-8
@@ -1,9 +1,9 @@
|
||||
# 🧪 Panduan Validasi & Pengujian: MERICA Pipeline Bundles
|
||||
|
||||
> **Repositori**: `merica-pipeline-bundles.git`
|
||||
> **Repositori**: `merica-pipelines.git`
|
||||
> **Status**: **Production Ready (4 Canonical Pipelines & 8 dbt Models)**
|
||||
> **Integrasi**: Apache Airflow 3 Native `GitDagBundle` (Interval: 30s)
|
||||
> **Kebijakan**: **Zero-Dummy Policy**
|
||||
> **Standar Kepatuhan**: **Production Asset Standards**
|
||||
|
||||
---
|
||||
|
||||
@@ -14,7 +14,7 @@ Repositori ini menyimpan logika analitik data lakehouse yang dipantau secara lan
|
||||
1. **Validasi Sintaksis YAML**: Menjamin tidak ada kesalahan indentasi atau parsing pada file konfigurasi pipeline.
|
||||
2. **Validasi Kontrak Aturan Great Expectations**: Memastikan deklarasi `rules:` dan `queries:` valid dan memiliki parameter wajib.
|
||||
3. **Validasi Sintaksis Model dbt SQL**: Memastikan model transformasi Silver dan Gold memiliki struktur query yang kompatibel.
|
||||
4. **Zero-Dummy Compliance Check**: Memastikan tidak ada berkas eksperimen atau dummy pipeline yang tersimpan di `configs/` atau `metadata/`.
|
||||
4. **Audit Integritas Aset Produksi**: Memastikan hanya konfigurasi kanonikal terverifikasi yang tersimpan di `configs/` atau `metadata/`.
|
||||
|
||||
---
|
||||
|
||||
@@ -59,7 +59,7 @@ missing = expected - actual
|
||||
if missing:
|
||||
print(f'PERINGATAN: Pipeline kanonikal hilang: {missing}', file=sys.stderr)
|
||||
sys.exit(1)
|
||||
print(f'Audit Zero-Dummy Sukses: Tepat 4 pipeline kanonikal terdaftar ({len(actual)}/4).')
|
||||
print(f'Audit Integritas Aset Sukses: Tepat 4 pipeline kanonikal terdaftar ({len(actual)}/4).')
|
||||
"
|
||||
```
|
||||
|
||||
@@ -72,11 +72,11 @@ ls -la dbt/models/gold/*.sql
|
||||
|
||||
---
|
||||
|
||||
## 🛡️ 3. Kebijakan Zero-Dummy Pipeline
|
||||
## 🛡️ 3. Kebijakan Integritas Pipeline Produksi
|
||||
|
||||
Repositori produksi ini diaudit ketat terhadap aturan **Zero-Dummy Policy**:
|
||||
* Dilarang menempatkan file konfigurasi dengan prefix `test_` atau penamaan ad-hoc seperti `pipeline_2507` atau `pipeline_4984`.
|
||||
* Seluruh pipeline harus memiliki identitas semantik yang mencerminkan fungsi bisnis DLH:
|
||||
Repositori produksi ini diaudit ketat terhadap aturan standarisasi aset:
|
||||
* Dilarang menempatkan file konfigurasi dengan penamaan ad-hoc atau sementara.
|
||||
* Seluruh pipeline harus memiliki identitas semantik yang mencerminkan fungsi bisnis:
|
||||
* `example_permits_medallion_dbt_postgres.yaml`
|
||||
* `ingestion_db_environmental_permits_cdc.yaml`
|
||||
* `ingestion_gws_waste_reports.yaml`
|
||||
|
||||
Reference in New Issue
Block a user