DEV Community: Eko Priyanto

Mencoba global forest watch API

Eko Priyanto — Tue, 27 Jan 2026 02:04:54 +0000

Saat pertama coba selalu gagal API key tidak sesuai

ini mungkin works

<?php
$apiKey = 'ini-api-key-tanpa-domain-restriction'; // API key tanpa domain restriction

// Define geometry (polygon untuk area Trenggalek)
$geometry = [
    "type" => "Polygon",
    "coordinates" => [[
        [103.19732666015625, 0.5537709801264608],
        [103.24882507324219, 0.5647567848663363],
        [103.21277618408203, 0.5932511181408705],
        [103.19732666015625, 0.5537709801264608]
    ]]
];

// Step 1: Create geostore dari geometry
$geostoreUrl = 'https://data-api.globalforestwatch.org/geostore';
$geostorePayload = json_encode(["geojson" => $geometry]);

$ch = curl_init($geostoreUrl);

curl_setopt_array($ch, [
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_POST => true,
    CURLOPT_FOLLOWLOCATION => true,
    CURLOPT_HTTPHEADER => [
        'x-api-key: ' . $apiKey,
        'Content-Type: application/json',
        'Content-Length: ' . strlen($geostorePayload)
    ],
    CURLOPT_POSTFIELDS => $geostorePayload,
]);

$geostoreResponse = curl_exec($ch);
$geostoreHttpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
curl_close($ch);

$geostoreResult = json_decode($geostoreResponse, true);

if (!isset($geostoreResult['data']['id'])) {
    die("Gagal membuat geostore. HTTP: $geostoreHttpCode\n");
}

$geostoreId = $geostoreResult['data']['id'];
echo "Geostore ID: $geostoreId\n";

// Step 2: Query dataset dengan geostore dan geometry
$queryUrl = "https://data-api.globalforestwatch.org/dataset/umd_tree_cover_loss/v1.12/query/json?geostore=$geostoreId";

$queryPayload = json_encode([
    "sql" => "SELECT SUM(area__ha) as total_area FROM results WHERE umd_tree_cover_loss__year = 2019",
    "geometry" => $geometry
]);

$ch = curl_init($queryUrl);

curl_setopt_array($ch, [
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_POST => true,
    CURLOPT_FOLLOWLOCATION => true,
    CURLOPT_HTTPHEADER => [
        'x-api-key: ' . $apiKey,
        'Content-Type: application/json',
        'Content-Length: ' . strlen($queryPayload)
    ],
    CURLOPT_POSTFIELDS => $queryPayload,
]);

$queryResponse = curl_exec($ch);
$queryHttpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
curl_close($ch);

echo "Query HTTP: $queryHttpCode\n";

$result = json_decode($queryResponse, true);

echo "<pre>";
print_r($result);
echo "</pre>";

ini dokumentasi yang bagus:
https://developer.openepi.io/how-tos/getting-started-using-global-forest-watch-data-api

Grab JDIHN berdasarkan jenis dokumen

Eko Priyanto — Tue, 25 Nov 2025 05:13:55 +0000

Grab JDIHN berdasarkan jenis dokumen.

<?php

/**
 * Skrip interaktif untuk mengambil data dari API jdihn.go.id
 * dan mengonversinya menjadi file CSV.
 * Pengguna dapat memilih jenis dokumen dari daftar yang tersedia.
 */

// Non-aktifkan waktu eksekusi maksimum PHP, karena prosesnya bisa memakan waktu.
// Hapus baris ini jika Anda berada di lingkungan hosting yang membatasi fungsi ini.
set_time_limit(0);

// --- Langkah 0: Tampilkan daftar jenis dokumen dan minta input dari pengguna ---

// Data JSON yang berisi daftar jenis dokumen
 $jenisDokumenJson = '[
    {"id":4,"name":"MONOGRAFI HUKUM"},
    {"id":5,"name":"ARTIKEL HUKUM"},
    {"id":7,"name":"UNDANG-UNDANG DASAR"},
    {"id":8,"name":"KETETAPAN MPR"},
    {"id":9,"name":"UNDANG-UNDANG"},
    {"id":10,"name":"PERATURAN PEMERINTAH PENGGANTI UNDANG-UNDANG"},
    {"id":11,"name":"PERATURAN PEMERINTAH"},
    {"id":12,"name":"PERATURAN PRESIDEN"},
    {"id":13,"name":"KEPUTUSAN PRESIDEN"},
    {"id":14,"name":"INSTRUKSI PRESIDEN"},
    {"id":15,"name":"PENETAPAN PRESIDEN"},
    {"id":16,"name":"UNDANG-UNDANG DARURAT"},
    {"id":17,"name":"PENGATURAN PENGUASA PERANG TERTINGGI"},
    {"id":27,"name":"PERATURAN KEMENTERIAN"},
    {"id":28,"name":"PERATURAN BERSAMA"},
    {"id":29,"name":"KEPUTUSAN KEMENTERIAN"},
    {"id":30,"name":"KEPUTUSAN BERSAMA"},
    {"id":31,"name":"INSTRUKSI KEMENTERIAN"},
    {"id":33,"name":"SURAT EDARAN KEMENTERIAN"},
    {"id":34,"name":"PERATURAN ESELON 1"},
    {"id":35,"name":"KEPUTUSAN ESELON 1"},
    {"id":36,"name":"PERATURAN LEMBAGA NEGARA"},
    {"id":42,"name":"PERATURAN BPK"},
    {"id":44,"name":"KEPUTUSAN LEMBAGA NEGARA"},
    {"id":45,"name":"PERATURAN LEMBAGA PEMERINTAH NON KEMENTERIAN"},
    {"id":47,"name":"PERATURAN KEPALA"},
    {"id":48,"name":"KEPUTUSAN LEMBAGA PEMERINTAH NON KEMENTERIAN"},
    {"id":49,"name":"PERATURAN LEMBAGA NON STRUKTURAL"},
    {"id":56,"name":"KEPUTUSAN LEMBAGA NON STRUKTURAL"},
    {"id":57,"name":"PERATURAN DAERAH PROVINSI"},
    {"id":58,"name":"PERATURAN DAERAH KABUPATEN"},
    {"id":59,"name":"PERATURAN DAERAH KOTA"},
    {"id":60,"name":"PERATURAN DPRD PROVINSI"},
    {"id":61,"name":"PERATURAN DPRD KABUPATEN"},
    {"id":62,"name":"PERATURAN DPRD KOTA"},
    {"id":63,"name":"PERATURAN GUBERNUR"},
    {"id":64,"name":"PERATURAN BUPATI"},
    {"id":65,"name":"PERATURAN WALIKOTA"},
    {"id":67,"name":"PERATURAN DESA"},
    {"id":68,"name":"KEPUTUSAN GUBERNUR"},
    {"id":69,"name":"KEPUTUSAN BUPATI"},
    {"id":70,"name":"KEPUTUSAN WALIKOTA"},
    {"id":71,"name":"KEPUTUSAN DPRD"},
    {"id":72,"name":"INSTRUKSI GUBERNUR"},
    {"id":73,"name":"INSTRUKSI BUPATI"},
    {"id":74,"name":"INSTRUKSI WALIKOTA"},
    {"id":75,"name":"SURAT EDARAN PEMERINTAH DAERAH"},
    {"id":76,"name":"STAATSBLAD"},
    {"id":77,"name":"BUKU HUKUM"},
    {"id":78,"name":"NASKAH AKADEMIK KEMENKUMHAM"},
    {"id":79,"name":"NASKAH AKADEMIK"},
    {"id":80,"name":"PENELITIAN HUKUM DAN HAM"},
    {"id":81,"name":"PENGKAJIAN HUKUM"},
    {"id":83,"name":"PENULISAN KARYA ILMIAH"},
    {"id":84,"name":"KOMPENDIUM HUKUM"},
    {"id":85,"name":"ANALISIS DAN EVALUASI"},
    {"id":86,"name":"MAJALAH HUKUM NASIONAL"},
    {"id":87,"name":"MAJALAH HUKUM"},
    {"id":89,"name":"KLIPING MAJALAH KORAN"},
    {"id":90,"name":"JURNAL HUKUM"},
    {"id":91,"name":"YURISPRUDENSI"},
    {"id":92,"name":"PUTUSAN MAHKAMAH AGUNG"},
    {"id":93,"name":"PUTUSAN MAHKAMAH KONSTITUSI"},
    {"id":94,"name":"RANCANGAN"},
    {"id":95,"name":"RANCANGAN PERATURAN DAERAH"},
    {"id":96,"name":"RANCANGAN PERATURAN DAERAH PROVINSI"},
    {"id":97,"name":"RANCANGAN PERATURAN DAERAH KABUPATEN"},
    {"id":98,"name":"RANCANGAN PERATURAN DAERAH KOTA"},
    {"id":100,"name":"RANCANGAN PERATURAN BUPATI"},
    {"id":103,"name":"MEMORANDUM OF UNDERSTANDING"},
    {"id":104,"name":"PERJANJIAN KERJA SAMA"},
    {"id":105,"name":"ARTIKEL"},
    {"id":162,"name":"SURAT EDARAN"},
    {"id":163,"name":"INSTRUKSI LEMBAGA PEMERINTAH NON KEMENTERIAN"},
    {"id":217,"name":"LOKAKARYA"},
    {"id":492,"name":"OSAMU SEIREI"},
    {"id":493,"name":"OSAMU KANREI"},
    {"id":624,"name":"PENELITIAN HUKUM"},
    {"id":683,"name":"RANCANGAN PERATURAN BADAN"},
    {"id":685,"name":"SURAT EDARAN LEMBAGA NEGARA"},
    {"id":686,"name":"SURAT EDARAN LEMBAGA PEMERINTAH NON KEMENTERIAN"},
    {"id":687,"name":"SURAT EDARAN LEMBAGA NON STRUKTURAL"},
    {"id":688,"name":"RISALAH SIDANG"},
    {"id":696,"name":"KEPUTUSAN PIMPINAN DPRD"},
    {"id":720,"name":"RISALAH DPRD"},
    {"id":794,"name":"KEPUTUSAN REKTOR"},
    {"id":804,"name":"SURAT EDARAN KEPALA DESA"},
    {"id":815,"name":"SURAT KEPUTUSAN DPRD KABUPATEN"},
    {"id":816,"name":"KEPUTUSAN BERSAMA DPRD"},
    {"id":817,"name":"SURAT KEPUTUSAN"},
    {"id":823,"name":"KEPUTUSAN ESELON II"},
    {"id":826,"name":"PERATURAN KEPALA DESA"},
    {"id":831,"name":"HIMPUNAN"},
    {"id":833,"name":"KESEPAKATAN BERSAMA BUPATI"},
    {"id":841,"name":"PERATURAN DEWAN"},
    {"id":844,"name":"HIMPUNAN PERATURAN"},
    {"id":892,"name":"STATUTEN"},
    {"id":911,"name":"PERATURAN KOMISI"},
    {"id":973,"name":"KEPUTUSAN BADAN MUSYAWARAH DPRD"},
    {"id":1013,"name":"BERITA ACARA"},
    {"id":1027,"name":"KEPUTUSAN KEPALA DESA"},
    {"id":1031,"name":"RANCANGAN DPRD"},
    {"id":1033,"name":"KEPUTUSAN SEKRETARIS DPRD"},
    {"id":1035,"name":"KARYA TULIS"},
    {"id":1103,"name":"PERATURAN PERGURUAN TINGGI"},
    {"id":1104,"name":"KEPUTUSAN PERGURUAN TINGGI"},
    {"id":1105,"name":"SURAT EDARAN PERGURUAN TINGGI"},
    {"id":1108,"name":"INSTRUKSI PERGURUAN TINGGI"},
    {"id":1110,"name":"CONVENTION"},
    {"id":1111,"name":"TREATY"},
    {"id":1112,"name":"DECLARATION"},
    {"id":1113,"name":"PROTOCOL"},
    {"id":1114,"name":"COVENANT"},
    {"id":1115,"name":"AGREEMENT"},
    {"id":1147,"name":"PERJANJIAN KERJA SAMA PERGURUAN TINGGI"},
    {"id":1155,"name":"PERJANJIAN KERJASAMA"},
    {"id":1157,"name":"INSTRUKSI MENTERI"},
    {"id":1159,"name":"KEPUTUSAN MENTERI"},
    {"id":1198,"name":"PERATURAN DPR"},
    {"id":1363,"name":"ZYOOREI"},
    {"id":1364,"name":"SYUUREI"},
    {"id":1365,"name":"MAKLOEMAT GUNSEIKAN"},
    {"id":1366,"name":"OSAMU GUNREI"},
    {"id":1689,"name":"PERATURAN ESELON 2 DAERAH"},
    {"id":1690,"name":"KEPUTUSAN ESELON 1 DAERAH"},
    {"id":1691,"name":"KEPUTUSAN ESELON 2 DAERAH"}
]';

// Decode JSON menjadi array asosiatif
 $jenisDokumenList = json_decode($jenisDokumenJson, true);

// Buat array untuk pencarian cepat (id => name)
 $lookup = array_column($jenisDokumenList, 'name', 'id');

echo "========================================\n";
echo "    Daftar Jenis Dokumen JDIHN\n";
echo "========================================\n";
foreach ($jenisDokumenList as $dokumen) {
    // Menggunakan sprintf untuk formatting output yang rapi
    echo sprintf("ID: %-5s | Nama: %s\n", $dokumen['id'], $dokumen['name']);
}
echo "========================================\n";

// Loop untuk meminta input yang valid dari pengguna
do {
    $input = readline("Masukkan kode jenis dokumen yang ingin diambil (ID): ");
    if (!ctype_digit($input)) {
        echo "Error: Input harus berupa angka. Silakan coba lagi.\n";
    } elseif (!isset($lookup[$input])) {
        echo "Error: Kode '$input' tidak ditemukan dalam daftar. Silakan coba lagi.\n";
    } else {
        // Input valid, keluar dari loop
        break;
    }
} while (true);

 $jenisId = (int)$input;
 $jenisName = $lookup[$jenisId];

echo "\nAnda memilih: ID {$jenisId} ({$jenisName}).\n";
echo "Memulai proses pengambilan data...\n\n";


// --- Langkah 1: Dapatkan total halaman dari halaman pertama ---
 $baseUrl = 'https://jdihn.go.id/api/search?jenis=' . $jenisId . '&page=';
 $totalPages = 0;
try {
    $firstPageContent = @file_get_contents($baseUrl . '1');
    if ($firstPageContent === false) {
        throw new Exception("Gagal mengambil data dari halaman pertama. Periksa koneksi internet atau ketersediaan API.");
    }

    $firstPageData = json_decode($firstPageContent, true);
    if (json_last_error() !== JSON_ERROR_NONE) {
        throw new Exception("Gagal mem-parsing JSON dari halaman pertama: " . json_last_error_msg());
    }

    if (!isset($firstPageData['meta']['last_page'])) {
        throw new Exception("Struktur JSON tidak sesuai, 'meta.last_page' tidak ditemukan.");
    }

    $totalPages = $firstPageData['meta']['last_page'];
    echo "Ditemukan total {$totalPages} halaman.\n\n";

} catch (Exception $e) {
    die("Error: " . $e->getMessage() . "\n");
}

// --- Langkah 2: Buat nama file CSV secara dinamis ---
 $startPage = 1;
 $source = 'JDIHN';
// Bersihkan nama dokumen untuk digunakan sebagai nama file
 $fileNameSafe = str_replace([' ', '/'], '_', $jenisName);
 $outputFile = $jenisId . '_' . $fileNameSafe . '_page_' . $startPage . '_' . $totalPages . '_' . $source . '.csv';

echo "Membuka file CSV untuk ditulis: {$outputFile}\n";
 $handle = fopen($outputFile, 'w');
if ($handle === false) {
    die("Gagal membuka file {$outputFile} untuk ditulis. Periksa izin penulisan folder.\n");
}

// Tentukan header kolom CSV
 $csvHeader = [
    'judul', 'nomor', 'id_anggota', 'id_dokumen', 'hit_see', 'hit_download',
    'jenis_peraturan_id', 'jenis_peraturan_second_id', 'jenis_peraturan_parent_id', 'jenis_peraturan_name',
    'jenis_peraturan_status', 'jenis_peraturan_created_by', 'jenis_peraturan_updated_by',
    'jenis_peraturan_created_time', 'jenis_peraturan_updated_time', 'jenis_peraturan_setPublish',
    'tahun_terbit', 'instansi', 'download'
];

// Tulis header ke file CSV
fputcsv($handle, $csvHeader);


// --- Langkah 3: Looping melalui semua halaman dan tulis data ---
for ($page = $startPage; $page <= $totalPages; $page++) {
    echo "Memproses halaman {$page} dari {$totalPages}... ";

    $pageContent = @file_get_contents($baseUrl . $page);

    if ($pageContent === false) {
        echo "[GAGAL] Tidak dapat mengambil halaman {$page}. Melewati.\n";
        continue;
    }

    $pageData = json_decode($pageContent, true);
    if (json_last_error() !== JSON_ERROR_NONE || !isset($pageData['data'])) {
        echo "[GAGAL] Gagal mem-parsing JSON pada halaman {$page}. Melewati.\n";
        continue;
    }

    $itemsOnPage = count($pageData['data']);
    foreach ($pageData['data'] as $item) {
        $csvRow = [
            $item['judul'] ?? '', $item['nomor'] ?? '', $item['id_anggota'] ?? '', $item['id_dokumen'] ?? '',
            $item['hit_see'] ?? '', $item['hit_download'] ?? '',
            $item['jenis_peraturan']['id'] ?? '', $item['jenis_peraturan']['second_id'] ?? '',
            $item['jenis_peraturan']['parent_id'] ?? '', $item['jenis_peraturan']['name'] ?? '',
            $item['jenis_peraturan']['status'] ?? '', $item['jenis_peraturan']['_created_by'] ?? '',
            $item['jenis_peraturan']['_updated_by'] ?? '', $item['jenis_peraturan']['_created_time'] ?? '',
            $item['jenis_peraturan']['_updated_time'] ?? '', $item['jenis_peraturan']['setPublish'] ?? '',
            $item['tahun_terbit'] ?? '', $item['instansi'] ?? '', $item['download'] ?? ''
        ];
        fputcsv($handle, $csvRow);
    }

    echo "[SUKSES] ({$itemsOnPage} item ditambahkan)\n";
    sleep(1);
}

// --- Langkah 4: Tutup file dan selesai ---
fclose($handle);

echo "\nProses selesai! Semua data telah disimpan dalam file '{$outputFile}'.\n";

?>

Hasilnya:

Enak pakai CSV atau supabase?

Grab detail JDIHN

Eko Priyanto — Tue, 25 Nov 2025 05:09:39 +0000

Grab detail JDIHN berdasarkan id dan menyimpannya menjadi csv

<?php
// Pastikan file simple_html_dom.php ada di satu folder
require 'simple_html_dom.php';

// --------------------------------------------------------------------------
// INPUT DARI USER
// --------------------------------------------------------------------------
echo "Masukkan ID awal: ";
 $awal = trim(readline());
echo "Masukkan ID akhir: ";
 $akhir = trim(readline());

// Validasi input
if (!is_numeric($awal) || !is_numeric($akhir) || $awal > $akhir) {
    die("Input tidak valid. Pastikan awal dan akhir adalah angka dan awal <= akhir.\n");
}

// --------------------------------------------------------------------------
// SETUP NAMA FILE DINAMIS
// --------------------------------------------------------------------------
 $filename = $awal."_".$akhir."_detail_JDIHN.csv";

echo "--------------------------------------------------\n";
echo "Proses akan dimulai dari ID $awal hingga $akhir.\n";
echo "Hasil akan disimpan dalam file: $filename\n";
echo "--------------------------------------------------\n";


// --------------------------------------------------------------------------
// FUNGSI-FUNGSI HELPER
// --------------------------------------------------------------------------

// FITUR: Mengambil ID dari URL (tetap dipertahankan untuk modularitas)
function getIdFromUrl($url) {
    $path = parse_url($url, PHP_URL_PATH);
    $segments = explode('/', $path);
    $key = array_search('detail', $segments);
    if ($key !== false && isset($segments[$key + 1])) {
        return $segments[$key + 1];
    }
    return 'unknown';
}

// LANGKAH 1: Ambil HTML via cURL
function getHTML($url) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); 
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'); 
    curl_setopt($ch, CURLOPT_TIMEOUT, 30); // Timeout 30 detik
    $output = curl_exec($ch);
    $http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
    curl_close($ch);

    if ($http_code != 200) {
        return null; // Kembalikan null jika gagal (misal 404)
    }

    return $output;
}

// --------------------------------------------------------------------------
// SETUP CSV
// --------------------------------------------------------------------------
 $file_exists = file_exists($filename);

// Buka file untuk append ('a'). Ini akan menambah data di akhir file.
 $fp = fopen($filename, 'a');

if (!$fp) {
    die("Gagal membuka/membuat file CSV. Cek permission folder.\n");
}

// Jika file belum ada, tulis header dan BOM untuk kompatibilitas Excel
if (!$file_exists) {
    // Tambahkan BOM agar UTF-8 terbaca benar di Excel
    fputs($fp, $bom = (chr(0xEF) . chr(0xBB) . chr(0xBF)));

    // Definisikan header secara manual agar lebih robust
    $headers = [
        'id', 'judul', 'jenis_peraturan', 'nomor_peraturan', 'tahun_peraturan', 
        'tentang', 'tempat_penetapan', 'tanggal_penetapan', 'tanggal_pengundangan', 
        'status', 'bahasa', 'lokasi', 'sumber', 'bidang_hukum', 'sub_bidang_hukum', 'link_download'
    ];
    fputcsv($fp, $headers);
    echo "File $filename dibuat dan header ditulis.\n";
}

// --------------------------------------------------------------------------
// PROSES LOOPING
// ----------
echo "Memulai proses...\n";

for ($i = $awal; $i <= $akhir; $i++) {
    echo "Memproses ID: $i\r"; // Gunakan \r untuk menimpa baris, agar output lebih rapi

    // 1. Konfigurasi URL (dinamis berdasarkan loop)
    $url = "https://jdihn.go.id/pencarian/detail/" . $i;

    // 2. Ambil HTML
    $html_content = getHTML($url);

    if ($html_content === null) {
        // echo "Halaman tidak ditemukan (HTTP Error) atau timeout. Melewati ID $i.\n";
        continue; // Lanjut ke iterasi berikutnya
    }

    // 3. Parsing HTML
    $html = str_get_html($html_content);
    if (!$html) {
        // echo "Gagal mem-parsing HTML. Melewati ID $i.\n";
        continue;
    }

    // Inisialisasi array data untuk ID saat ini
    $data = [
        'id' => $i // Gunakan $i langsung sebagai ID
    ];

    // A. Ambil Judul
    $title_element = $html->find('h4', 0); 
    $data['judul'] = $title_element ? trim($title_element->plaintext) : '';

    // Jika judul kosong, kemungkinan besar ini adalah halaman 404 atau tidak valid
    if (empty($data['judul'])) {
        // echo "Judul tidak ditemukan, kemungkinan halaman tidak valid. Melewati ID $i.\n";
        $html->clear();
        continue;
    }

    // B. Ambil Metadata Tabel
    foreach($html->find('table tr') as $row) {
        $cols = $row->find('td');
        if (count($cols) >= 2) {
            $label = trim(str_replace(':', '', $cols[0]->plaintext));
            $value = trim(end($cols)->plaintext);

            if (!empty($label)) {
                $key = strtolower(preg_replace('/[^a-zA-Z0-9]/', '_', $label));
                $key = preg_replace('/_+/', '_', $key);
                $data[$key] = $value;
            }
        }
    }

    // C. Ambil Link Download
    $download_link = "";
    foreach($html->find('a') as $element) {
        if (strpos(strtolower($element->plaintext), 'unduh') !== false || strpos(strtolower($element->plaintext), 'download') !== false) {
            $download_link = $element->href;
            break; 
        }
    }
    if ($download_link && strpos($download_link, 'http') === false) {
        $download_link = "https://jdihn.go.id" . $download_link;
    }
    $data['link_download'] = $download_link;

    // Bersihkan memori DOM
    $html->clear();

    // Simpan data ke CSV (hanya baris data, bukan header)
    fputcsv($fp, $data);
}

// --------------------------------------------------------------------------
// SELESAI
// --------------------------------------------------------------------------
// Tutup file setelah loop selesai
fclose($fp);

echo "\n--------------------------------------------------\n";
echo "Proses selesai! Semua data telah disimpan ke file: $filename\n";
echo "--------------------------------------------------\n";

hasil berupa csv:

id,judul,jenis_peraturan,nomor_peraturan,tahun_peraturan,tentang,tempat_penetapan,tanggal_penetapan,tanggal_pengundangan,status,bahasa,lokasi,sumber,bidang_hukum,sub_bidang_hukum,link_download
327,"TIM ASISTENSI E-BUDGETING RENCANA KERJA SATUAN KERJA PERANGKAT DAERAH TINGKAT KOTA BANDUNG TAHUN ANGGARAN 2017","JDIH Pemerintah Kota Bandung","KEPUTUSAN WALIKOTA",050/Kep.697-Bappeda/2016,2016,,KEPWAL,,-,2023-09-04,-,-,-,,,20190806061944531547339.pdf,20190806061944531547339.pdf,,,https://jdih.bandung.go.id/home/produk-hukum/peraturan-perundang-undangan-daerah/3382</button>,https://jdihn.go.id/unduhan
329,"PERUBAHAN ATAS PERATURAN WALIKOTA BANDUNG NOMOR 548 TAHUN 2016 TENTANG TATA CARA PENERAPAN SANKSI ADMINISTRATIF DALAM PENYELENGGARAAN BANGUNAN GEDUNG","JDIH Pemerintah Kota Bandung","PERATURAN WALIKOTA",1032,2016,,PERWAL,,-,2023-09-04,-,-,-,,,"Perwal 1032 Tahun  2016 SANKSI OTENTIFIKASI.pdf","Perwal 1032 Tahun  2016 SANKSI OTENTIFIKASI.pdf",,,https://jdih.bandung.go.id/home/produk-hukum/peraturan-perundang-undangan-daerah/3383</button>,https://jdihn.go.id/unduhan
335,KEPEMUDAAN,"JDIH Pemerintah Kota Bandung","PERATURAN DAERAH KOTA",1,2016,,PERDA,,-,2023-09-04,-,-,-,,,"Perda No. 1 tahun 2016 ttg. Kepemudaan.pdf","Perda No. 1 tahun 2016 ttg. Kepemudaan.pdf",,,https://jdih.bandung.go.id/home/produk-hukum/peraturan-perundang-undangan-daerah/3384</button>,https://jdihn.go.id/unduhan
348,"PERUBAHAN KEDUA ATAS PERATURAN WALIKOTA BANDUNG NOMOR 495 TAHUN 2015 TENTANG STANDAR OPERASIONAL PROSEDUR PELAYANAN PERIZINAN TERPADU","JDIH Pemerintah Kota Bandung","PERATURAN WALIKOTA",265,2016,,PERWAL,,-,2023-09-04,-,-,-,,,20201201003442704186689.pdf,20201201003442704186689.pdf,,,https://jdih.bandung.go.id/home/produk-hukum/peraturan-perundang-undangan-daerah/3260</button>,https://jdihn.go.id/unduhan
363,"Tim Ahli Bangunan Gedung Kota Bandung Masa Bakti 2015-2016","JDIH Pemerintah Kota Bandung","KEPUTUSAN WALIKOTA",640/Kep.977-DisTarCip/2015,2015,,KEPWAL,,-,2023-09-04,-,-,-,,,"SLN SK 640_Kep.977-DisTarCip_2015 perub TABG 2015-2016.pdf","SLN SK 640_Kep.977-DisTarCip_2015 perub TABG 2015-2016.pdf",,,https://jdih.bandung.go.id/home/produk-hukum/peraturan-perundang-undangan-daerah/3248</button>,https://jdihn.go.id/unduhan
364,"PERUBAHAN ATAS PERATURAN DAERAH KOTA BANDUNG NOMOR 24 TAHUN 2012 TENTANG PENYELENGGARAAN DAN PENANGANAN KESEJAHTERAAN SOSIAL","JDIH Pemerintah Kota Bandung","PERATURAN DAERAH KOTA",5,2015,,PERDA,,-,2023-09-04,-,-,-,,,"Perda No. 5 Tahun 2015  kesos.pdf","Perda No. 5 Tahun 2015  kesos.pdf",,,https://jdih.bandung.go.id/home/produk-hukum/peraturan-perundang-undangan-daerah/3270</button>,https://jdihn.go.id/unduhan
368,"Pembentukan Forum Komunikasi Anak Kota Bandung Periode Tahun 2015 2017","JDIH Pemerintah Kota Bandung","KEPUTUSAN WALIKOTA","464/Kep.981 - BPPKB/2015",2015,,KEPWAL,,-,2023-09-04,-,-,-,,,201907220300001983419264.pdf,201907220300001983419264.pdf,,,https://jdih.bandung.go.id/home/produk-hukum/peraturan-perundang-undangan-daerah/3249</button>,https://jdihn.go.id/unduhan
448,"Peraturan Daerah Kotamadya Daerah Tingkat II Salatiga Nomor 18 Tahun 1977 tentang Mengubah untuk Ketiga kalinya Peraturan Daerah tentang Peraturan Daerahgangan dan Penjualan Susu","JDIH Pemerintah Kota Salatiga","PERATURAN DAERAH KOTA",18,1977,-,PERDA,,-,1978-02-27,-,Berlaku,-,"LD Kotamadya Daerah Tingkat II Salatiga  1977 (18)",Indonesia,1977pd3332018.pdf,,,,https://jdih.salatiga.go.id/dokumen/view?id=1363</button>,https://jdihn.go.id/unduhan
463,"Peraturan Daerah Kotamadya Daerah Tingkat II Salatiga Nomor 2 Tahun 1974 tentang Pasar yang Dikuasai oleh Pemerintah Daerah Kotamadya Salatiga","JDIH Pemerintah Kota Salatiga","PERATURAN DAERAH KOTA",2,1974,-,PERDA,,-,1978-11-28,-,Berlaku,-,"LD Kotamadya Daerah Tingkat II Salatiga  1974 (2)",Indonesia,1974pd3332002.pdf,,,,https://jdih.salatiga.go.id/dokumen/view?id=1351</button>,https://jdihn.go.id/unduhan
464,"Peraturan Daerah Kotamadya Daerah Tingkat II Salatiga Nomor 5 Tahun 1980 tentang Penetapan Sisa Perhitungan Anggaran Pendapatan dan Belanja Daerah Kotamadya Daerah Tingkat II Salatiga Tahun Anggaran 1976/1977","JDIH Pemerintah Kota Salatiga","PERATURAN DAERAH KOTA",5,1980,-,PERDA,,-,1980-06-04,-,Berlaku,-,"LD Kotamadya Daerah Tingkat II Salatiga  1980 (5)",Indonesia,1980pd3332005.pdf,,,,https://jdih.salatiga.go.id/dokumen/view?id=1373</button>,https://jdihn.go.id/unduhan
468,"Peraturan Daerah Kotamadya Daerah Tingkat II Salatiga Nomor 1 Tahun 1975 tentang Mengubah Untuk Ketiga Kali Peraturan Daerah tentang Pajak kendaraan","JDIH Pemerintah Kota Salatiga","PERATURAN DAERAH KOTA",1,1975,-,PERDA,,-,1976-11-01,-,Berlaku,-,"LD Kotamadya Daerah Tingkat II Salatiga  1975 (1)",Indonesia,1975pd3332001.pdf,,,,https://jdih.salatiga.go.id/dokumen/view?id=1352</button>,https://jdihn.go.id/unduhan

Peta curah hujan dari BMKG

Eko Priyanto — Wed, 04 Jun 2025 10:18:38 +0000

Ternyata BMKG juga menyediakan peta curah hujan, walaupun tampilannya kurang menarik sih...

Ini sumber datanya: https://gis.bmkg.go.id/portal/dataapi

Berikut setelah diimplementasikan dalam bentuk peta

<!DOCTYPE html>
<html lang="id">
<head>
  <meta charset="UTF-8">
  <title>Peta Curah Hujan dan Hari Hujan - BMKG</title>
  <meta name="viewport" content="width=device-width, initial-scale=1.0">

  <!-- Leaflet CSS -->
  <link rel="stylesheet" href="https://unpkg.com/leaflet@1.9.4/dist/leaflet.css" />

  <style>
    body, html {
      margin: 0;
      padding: 0;
      height: 100%;
    }
    #map {
      width: 100%;
      height: 100vh;
    }
    .legend {
      position: absolute;
      bottom: 10px;
      left: 10px;
      background: white;
      padding: 10px;
      border-radius: 5px;
      box-shadow: 0 0 5px rgba(0,0,0,0.3);
      font-size: 12px;
      line-height: 1.5;
      z-index: 1000;
    }
    .legend img {
      width: 100px;
      display: block;
    }
  </style>
</head>
<body>

  <div id="map"></div>
  <div class="legend" id="legend">
    <strong>Legenda:</strong>
    <div id="curahLegend" style="margin-top:5px;"></div>
  </div>

  <!-- Leaflet JS -->
  <script src="https://unpkg.com/leaflet@1.9.4/dist/leaflet.js"></script>

  <script>
    // Inisialisasi peta
    var map = L.map('map').setView([-2, 118], 5); // Koordinat tengah Indonesia

    // Tambahkan layer dasar dari OpenStreetMap
    L.tileLayer('https://{s}.tile.openstreetmap.org/{z}/{x}/{y}.png', {
      attribution: '© OpenStreetMap contributors'
    }).addTo(map);

    // Layer Curah Hujan (layer 2)
    var curahHujan = L.tileLayer.wms('https://gis.bmkg.go.id/arcgis/services/Peta_Curah_Hujan_dan_Hari_Hujan_/MapServer/WMSServer', {
      layers: '2',
      format: 'image/png',
      transparent: true,
      version: '1.3.0',
      attribution: 'BMKG'
    }).addTo(map);

    // Layer Hari Hujan (layer 1)
    var hariHujan = L.tileLayer.wms('https://gis.bmkg.go.id/arcgis/services/Peta_Curah_Hujan_dan_Hari_Hujan_/MapServer/WMSServer', {
      layers: '1',
      format: 'image/png',
      transparent: true,
      version: '1.3.0',
      attribution: 'BMKG'
    });

    // Kontrol layer (checkbox untuk mengaktifkan/mematikan layer)
    L.control.layers(null, {
      "Curah Hujan": curahHujan,
      "Hari Hujan": hariHujan
    }).addTo(map);

    // Tampilkan legenda default (Curah Hujan)
    document.getElementById("curahLegend").innerHTML = '<img src="https://gis.bmkg.go.id/arcgis/services/Peta_Curah_Hujan_dan_Hari_Hujan_/MapServer/WMSServer?request=GetLegendGraphic&version=1.3.0&format=image/png&layer=2" alt="Legenda Curah Hujan">';

    // Tambahkan handler untuk update legenda saat layer aktif berubah
    map.on('overlayadd', function (e) {
      if (e.name === 'Curah Hujan') {
        document.getElementById("curahLegend").innerHTML = '<img src="https://gis.bmkg.go.id/arcgis/services/Peta_Curah_Hujan_dan_Hari_Hujan_/MapServer/WMSServer?request=GetLegendGraphic&version=1.3.0&format=image/png&layer=2" alt="Legenda Curah Hujan">';
      } else if (e.name === 'Hari Hujan') {
        document.getElementById("curahLegend").innerHTML = '<img src="https://gis.bmkg.go.id/arcgis/services/Peta_Curah_Hujan_dan_Hari_Hujan_/MapServer/WMSServer?request=GetLegendGraphic&version=1.3.0&format=image/png&layer=1" alt="Legenda Hari Hujan">';
      }
    });
  </script>

</body>
</html>

rain map

Eko Priyanto — Sat, 31 May 2025 21:34:36 +0000

Membuat rain map dengan leaflet dan rainviewer

<!DOCTYPE html>
<html>
<head>
  <title>Peta Hujan - RainViewer + Leaflet</title>
  <meta charset="utf-8" />
  <meta name="viewport" content="width=device-width, initial-scale=1.0">
  <link rel="stylesheet" href="https://unpkg.com/leaflet@1.9.3/dist/leaflet.css" />
  <style>
    #map { height: 100vh; }
  </style>
</head>
<body>
  <div id="map"></div>

  <script src="https://unpkg.com/leaflet@1.9.3/dist/leaflet.js"></script>
  <script>
    // Inisialisasi peta di koordinat Indonesia
    var map = L.map('map').setView([-7.65, 111.6], 7); // Trenggalek

    // Tambahkan tile dasar (OpenStreetMap)
    L.tileLayer('https://{s}.tile.openstreetmap.org/{z}/{x}/{y}.png', {
      attribution: '© OpenStreetMap'
    }).addTo(map);

    // Ambil data radar terbaru dari RainViewer
    fetch('https://api.rainviewer.com/public/weather-maps.json')
      .then(response => response.json())
      .then(data => {
        // Ambil path radar terbaru
        const radar = data.radar;
        const latestFrame = radar.past[radar.past.length - 1];
        const tileUrl = `https://tilecache.rainviewer.com${latestFrame.path}/256/{z}/{x}/{y}/2/1_1.png`;

        // Tambahkan layer radar ke peta
        L.tileLayer(tileUrl, {
          attribution: 'Radar data © RainViewer',
          opacity: 0.6,
          transparent: true
        }).addTo(map);
      })
      .catch(error => {
        console.error('Gagal memuat data radar:', error);
      });
  </script>
</body>
</html>

Code analisis termudah

Eko Priyanto — Sat, 17 May 2025 03:11:43 +0000

Ingin code yang aman tanpa capek-capek vuln scan? tapi gratis.

Awalnya nemu web ini https://snyk.io/ yang menampilkan vuln terbaru. Namun ternyata mereka juga punya apps bagus yang gratis. code analisis yang enak, tinggal hubungkan github kita, pilih projectnya maka hasil analisis kode kita ketemu. Langsung dengan kode perbaikannya.

https://app.snyk.io/

PHP security checklist

Eko Priyanto — Mon, 14 Apr 2025 03:35:10 +0000

https://freedium.cfd/https://levelup.gitconnected.com/secure-your-php-code-8cd5921047a0

Security is crucial when developing with PHP, as poorly written code can expose vulnerabilities such as SQL injection, XSS (Cross-Site Scripting), and CSRF (Cross-Site Request Forgery). Below are best practices and secure code examples.

Validate and Sanitize User Input
User input should never be trusted. Always validate and sanitize input before using it.

✅ Example: Sanitizing User Input

Copy

<?php
// Using filter_input() to sanitize user input
$name = filter_input(INPUT_POST, 'name', FILTER_SANITIZE_STRING);
$email = filter_input(INPUT_POST, 'email', FILTER_VALIDATE_EMAIL);

if (!$email) {
    echo "Invalid email!";
} else {
    echo "Hello, " . htmlspecialchars($name);
}
?>

FILTER_SANITIZE_STRING: Removes harmful characters from strings.
FILTER_VALIDATE_EMAIL: Ensures the email is valid.
htmlspecialchars(): Prevents XSS attacks by escaping special characters.
Use Prepared Statements to Prevent SQL Injection
SQL Injection happens when user input is directly used in an SQL query. Always use prepared statements.

❌ Insecure SQL Query (Vulnerable to SQL Injection)

Copy

<?php
$conn = new mysqli("localhost", "user", "password", "database");
$user_input = $_GET['id'];
$sql = "SELECT * FROM users WHERE id = '$user_input'"; // 🚨 Unsafe: User can manipulate the query!
$result = $conn->query($sql);
?>

A hacker can enter: 1' OR '1'='1 This makes the query return all users instead of just one.

✅ Secure SQL Query (Using Prepared Statements)

Copy

<?php
$conn = new mysqli("localhost", "user", "password", "database");
$stmt = $conn->prepare("SELECT * FROM users WHERE id = ?");
$stmt->bind_param("i", $_GET['id']); // "i" stands for integer
$stmt->execute();
$result = $stmt->get_result();
?>

Prevents SQL injection by binding user input.
Used "i" to indicate that it id is an integer.
Secure Password Handling
Never store passwords in plain text. Always hash passwords before saving them.

✅ Hash a Password Before Storing

Copy

<?php
$password = "my_secure_password";
$hashed_password = password_hash($password, PASSWORD_BCRYPT);
echo $hashed_password; // Store this in the database
?>

PASSWORD_BCRYPT generates a strong, salted hash.
✅ Verify Password During Login

Copy

<?php
$entered_password = "my_secure_password";
$stored_hash = '$2y$10$Qj4X...'; // Retrieved from the database

if (password_verify($entered_password, $stored_hash)) {
    echo "Login successful!";
} else {
    echo "Invalid password!";
}
?>

password_verify() compares user input with the stored hash.
Protect Against Cross-Site Scripting (XSS)
XSS occurs when malicious scripts are injected into web pages. To prevent XSS:

✅ Escape Output Using htmlspecialchars()

Copy

<?php
$comment = $_POST['comment'];
echo htmlspecialchars($comment, ENT_QUOTES, 'UTF-8'); // Prevents JavaScript execution
?>

If a user inputs:alert('Hacked!'); Without htmlspecialchars(), it would execute as JavaScript!

Prevent Cross-Site Request Forgery (CSRF)
CSRF happens when malicious websites trick users into performing unwanted actions. Use CSRF tokens.

✅ Generate and Validate a CSRF Token

<?php
session_start();
if (empty($_SESSION['csrf_token'])) {
    $_SESSION['csrf_token'] = bin2hex(random_bytes(32));
}
?>

<?php
if ($_SERVER['REQUEST_METHOD'] == 'POST') {
    if (!hash_equals($_SESSION['csrf_token'], $_POST['csrf_token'])) {
        die("CSRF validation failed!");
    }
    echo "Form submitted successfully!";
}
?>

The hidden input field sends the token.
hash_equals() ensures the token matches.
Disable Error Display in Production
Errors can expose sensitive information. Always log errors instead of displaying them.

✅ Turn Off the Error Display in php.ini

Copy
display_errors = Off
log_errors = On
error_log = /var/log/php_errors.log
✅ Manually Log Errors

<?php
error_log("Something went wrong!", 3, "/var/log/php_errors.log");
?>

Secure File Uploads
If your site allows file uploads, validate and store file types securely.

✅ Check File Type Before Uploading

Copy

<?php
$allowed_types = ['image/jpeg', 'image/png'];
if (!in_array($_FILES['file']['type'], $allowed_types)) {
    die("Invalid file type!");
}
?>

Avoid storing uploads in a web-accessible directory to prevent direct access.

Restrict PHP Execution in Uploads
Prevent attackers from executing PHP files in the upload folder by disabling PHP execution with a .htaccess file.

✅ Block PHP Execution in Uploads

Copy

Deny from all

Use Secure Headers
Set HTTP headers to enhance security.

✅ Enable Secure Headers

Copy

<?php
header("X-Frame-Options: DENY"); // Prevents clickjacking
header("X-XSS-Protection: 1; mode=block"); // Prevents XSS
header("X-Content-Type-Options: nosniff"); // Prevents MIME-type sniffing
?>

Final Thoughts
By following these best security practices, you can protect your PHP applications from common threats. 🚀

Scrape data masjid dengan multi threads

Eko Priyanto — Thu, 10 Apr 2025 00:45:24 +0000

Mencoba untuk melakukan scrape masjid di simas kemenag menggunakan PHP dan multi threads dengan multi curl

Scrape akan melakukan scrape masjid id dan lokasi masjid atau koordinatnya di gmaps.

Scriptnya:

<?php
$startPage   = 1;
$endPage     = 100;
$maxThreads  = 10;
$namaFile    = "hasil_masjid_page{$startPage}-{$endPage}.txt";

// Buka file dan tulis header
$fp = fopen($namaFile, 'w');
fwrite($fp, "\"s_id\",\"link_detil\",\"link_peta\"\n");

// Ambil banyak halaman secara paralel
function fetchPagesMultiCurl($urls) {
    $multiHandle = curl_multi_init();
    $curlHandles = [];
    $results = [];

    foreach ($urls as $key => $url) {
        $ch = curl_init();
        curl_setopt_array($ch, [
            CURLOPT_URL => $url,
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_FOLLOWLOCATION => true,
            CURLOPT_USERAGENT => 'Mozilla/5.0',
            CURLOPT_TIMEOUT => 10,
        ]);
        curl_multi_add_handle($multiHandle, $ch);
        $curlHandles[$key] = $ch;
    }

    $running = null;
    do {
        curl_multi_exec($multiHandle, $running);
        curl_multi_select($multiHandle, 1.0); // Optimasi I/O blocking
    } while ($running > 0);

    foreach ($curlHandles as $key => $ch) {
        $results[$key] = curl_multi_getcontent($ch);
        curl_multi_remove_handle($multiHandle, $ch);
        curl_close($ch);
    }

    curl_multi_close($multiHandle);
    return $results;
}

// Batch processing
for ($batchStart = $startPage; $batchStart <= $endPage; $batchStart += $maxThreads) {
    $batchEnd = min($batchStart + $maxThreads - 1, $endPage);
    $urls = [];

    for ($i = $batchStart; $i <= $batchEnd; $i++) {
        $urls[$i] = "https://simas.kemenag.go.id/page/profilmasjid/0/0/0/0/0?page=$i";
    }

    printf("🔄 Memproses halaman %d - %d\n", $batchStart, $batchEnd);
    $responses = fetchPagesMultiCurl($urls);

    foreach ($responses as $page => $html) {
        if (!$html) {
            echo "⚠️ Gagal mengambil halaman $page\n";
            continue;
        }

        libxml_use_internal_errors(true); // suppress warning
        $dom = new DOMDocument();
        $dom->loadHTML($html, LIBXML_NOERROR | LIBXML_NOWARNING);
        libxml_clear_errors();

        $xpath = new DOMXPath($dom);
        $linksDetil = $xpath->query("//a[contains(text(), 'Lihat Detil')]");
        $linksPeta  = $xpath->query("//a[contains(text(), 'Lihat di Peta')]");

        $limit = min($linksDetil->length, $linksPeta->length);

        for ($i = 0; $i < $limit; $i++) {
            $detilHref = $linksDetil->item($i)->getAttribute('href');
            $petaHref  = $linksPeta->item($i)->getAttribute('href');

            $row = [
                "{$page}-" . ($i + 1),
                "https://simas.kemenag.go.id" . $detilHref,
                $petaHref
            ];

            fwrite($fp, '"' . implode('","', $row) . '"' . "\n");
        }

        // Bebaskan memori DOM
        unset($dom, $xpath, $linksDetil, $linksPeta);
    }
}

fclose($fp);
echo "🎉 Selesai! File berhasil dibuat: $namaFile\n";

Setelah scrape per batch yang bisa diatur maka akan menyimpan ke file txt dengan format csv

cara menjalankannya adalah dengan menjalankan di CMD atau terminal

nohup php scrape.php

Semoga bermanfaat

scrape peraturan.go.id

Eko Priyanto — Thu, 13 Mar 2025 22:28:47 +0000

Untuk contoh di sini saya pakai diDOM

<?php
require 'vendor/autoload.php'; // Pastikan DiDOM terinstall melalui Composer

use DiDom\Document;

$max_pages = 5; // Jumlah halaman yang ingin di-scrape

for ($page = 1; $page <= $max_pages; $page++) {
    $url = "https://peraturan.go.id/cariglobal?PeraturanSearch%5Bidglobal%5D=&page=$page";
    $options = [
        'http' => [
            'method' => 'GET',
            'header' => "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)"
        ]
    ];
    $context = stream_context_create($options);
    $html = file_get_contents($url, false, $context);

    // Cek apakah HTML berhasil diambil
    if (!$html) {
        die("Gagal mengambil data dari URL pada halaman $page.\n");
    }

    $document = new Document();
    $document->loadHtml($html);

    // Mencari semua elemen dalam <div class="strip grid">
    $items = $document->find('div.strip.grid');

    foreach ($items as $item) {
        // Mendapatkan jenis peraturan
        $jenis = $item->first('a.float-right') ? trim($item->first('a.float-right')->text()) : 'Tidak tersedia';

        // Mendapatkan judul peraturan
        $judul = $item->first('p') ? trim($item->first('p')->text()) : 'Tidak tersedia';

        // Mendapatkan link dokumen PDF
        $pdf = $item->first('a[target="_blank"]') ? trim($item->first('a[target="_blank"]')->getAttribute('href')) : 'Tidak tersedia';

        // Mendapatkan link detail peraturan dan uraian
        $detail_link_element = $item->first('p a[data-pjax="0"]');
        $link = $detail_link_element ? trim($detail_link_element->getAttribute('href')) : 'Tidak tersedia';
        $uraian = $detail_link_element ? trim($detail_link_element->text()) : 'Tidak tersedia';

        // Mendapatkan nama kementerian atau lembaga yang mengeluarkan peraturan
        $lembaga_element = $item->first('div.score span.loc_open');
        $lembaga = $lembaga_element ? trim($lembaga_element->text()) : 'Tidak tersedia';

        echo "Halaman: $page\n";
        echo "Jenis: $jenis\n";
        echo "Judul: $judul\n";
        echo "PDF: $pdf\n";
        echo "Link: $link\n";
        echo "Uraian: $uraian\n";
        echo "Lembaga: $lembaga\n";
        echo "-----------------------------\n";
    }
}

Contoh kode ini akan scrape 5 halaman pertama di pencarian peraturan.go.id

cara menjalankannya adalah dengan menjalankan di CMD atau terminal

nohup php scrape.php

Scrape peraturan BPK dengan PHP, DiDOM dan Supabase

Eko Priyanto — Sun, 02 Mar 2025 23:48:33 +0000

Direktori Peraturan di Indonesia saat ini:

JDIHN (lambat)
Peraturan BPK (yang kita coa kali ini)
Peraturan.go.id (belum nyoba)
lainnya? (beritahu saya)

DiDOM adalah Simple and fast HTML and XML parser
Kalau mungkin sudah terbiasa dengan simple html dom maka DiDOM ini adalah alternatif yang lebih modern.
URL: https://github.com/Imangazaliev/DiDOM

Pertama kita buat table di Supabase

CREATE TABLE peraturan_bpk (
    id SERIAL PRIMARY KEY,
    tipe_dokumen TEXT,
    judul TEXT,
    t_e_u TEXT,
    nomor TEXT,
    bentuk TEXT,
    bentuk_singkat TEXT,
    tahun TEXT,
    tempat_penetapan TEXT,
    tanggal_penetapan TEXT,
    tanggal_pengundangan TEXT,
    tanggal_berlaku TEXT,
    sumber TEXT,
    subjek TEXT,
    status TEXT,
    bahasa TEXT,
    lokasi TEXT,
    bidang TEXT,
    judul_singkat TEXT,
    brief TEXT,
    abstract TEXT,
    catatan TEXT,
    nama_file TEXT,
    link_download TEXT,
    status_peraturan TEXT,
    status_peraturan_item TEXT,
    url_id TEXT
);

Script lengkap + simpan ke supabase

<?php
error_reporting(0);
ini_set('display_errors', 0);


// Supabase API Config
$supabaseUrl = 'https://hoyo.supabase.co';
$supabaseKey = 'Nd14s3nd4sm03';

$tabel = 'peraturan_bpk';

require 'vendor/autoload.php';

use DiDom\Document;

function safe_url($text) {
    return trim(preg_replace('/[^a-z0-9]+/i', '_', strtolower($text)), '_');
}

function cleanText($text) {
    if (!is_string($text) || empty(trim($text))) {
        return '';
    }
    $text = preg_replace('/\s+/', ' ', $text);
    $text = preg_replace('/[^a-zA-Z0-9 .,;-]/', '', $text);
    return trim($text);
}


$start = 314198;

for ($i = $start; $i >= 0; $i--) {

        $uri = "https://peraturan.bpk.go.id/Details/$i";
        $html = @file_get_contents($uri);

        if ($html === false) {
            echo "\033[33m [$i] \033[0m  \e[31m [GAGAL]  \e[0m page not found \n";
            continue;
        }

        $data = array();
        $document = new Document($html);

        if ($document->has('.fs-6')) {
            $keys = [];
            $vals = [];

            $key_divs = $document->find('.col-lg-3');
            foreach ($key_divs as $key_div) {
                $keys[] = safe_url($key_div->text());
            }

            $val_divs = $document->find('.col-lg-9');
            foreach ($val_divs as $val_div) {
                $vals[] = cleanText($val_div->text());
            }

            $keys = array_slice($keys, 0, 17, true);
            $vals = array_slice($vals, 0, 17, true);
            $data = array_combine($keys, $vals);
        } else {
            echo "\033[33m [$i] \033[0m  \e[31m [GAGAL]  \e[0m belum ada isinya \n";
            continue;
        }

        $data['judul_singkat'] = cleanText($document->first('h1')->text() ?? '');
        $data['brief'] = $document->has('.card-body p') ? cleanText($document->first('.card-body p')->text()) : '';

        if ($document->has('.dash')) {
            $abs = [];
            $li_abstract = $document->first('.dash')->find('li');
            foreach ($li_abstract as $a) {
                $abs[] = cleanText($a->text());
            }
            $data['abstract'] = implode('<br />', $abs);

            if (isset($document->find('.dash')[1])) {
                $cat = [];
                $li_catatan = $document->find('.dash')[1]->find('li');
                foreach ($li_catatan as $c) {
                    $cat[] = cleanText($c->text());
                }
                $data['catatan'] = implode('<br />', $cat);
            }
        } else {
            $data['abstract'] = '';
            $data['catatan'] = '';
        }

        if ($document->has('.fs-6')) {
            $div_download = $document->find('.fs-6')[1];
            $link = $div_download->find('a');
            if (isset($link[0]) && isset($link[2])) {
                $data['nama_file'] = cleanText($link[0]->text());
                $data['link_download'] = 'https://peraturan.bpk.go.id' . $link[2]->getAttribute('href');
            }
        }

        if ($document->has('.fs-6') && isset($document->find('.fs-6')[2])) {
            $div_status = $document->find('.fs-6')[2];

            $data['status_peraturan'] = $div_status->has('.bg-light-primary') ? cleanText($div_status->first('.bg-light-primary')->text()) : 'Belum Tersedia';

            $lsp = [];
            $li_status_peraturan = $div_status->find('li');
            foreach ($li_status_peraturan as $li) {
                $lsp[] = cleanText($li->text());
            }
            $data['status_peraturan_item'] = implode('<br />', $lsp);
        }

        $data['url_id'] = $i;

        // Hapus field kosong/null
        $data = array_filter($data, function($value) {
            return $value !== null && $value !== '';
        });

        // Simpan ke Supabase
        $ch = curl_init("$supabaseUrl/rest/v1/$tabel");  // Ganti `peraturan` dengan nama tabel di Supabase
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
        curl_setopt($ch, CURLOPT_HTTPHEADER, [
            "Content-Type: application/json",
            "apikey: $supabaseKey",
            "Authorization: Bearer $supabaseKey",
            "Prefer: resolution=merge-duplicates"
        ]);
        curl_setopt($ch, CURLOPT_POST, true);
        curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($data));

        $response = curl_exec($ch);
        $httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
        curl_close($ch);

        if ($httpCode === 201 || $httpCode === 200) {
            echo "\033[33m [$i] \033[0m \033[32m  [SUKSES]  \033[0m   Simpan ke Supabase \n";
        } else {
            echo "\033[33m [$i] \033[0m  \e[31m [GAGAL]  \e[0m menyimpan data ke Supabase \n Status: \033[34m $response \e[0m \n";
            continue;
        }


    unset($html, $document, $data);

    usleep(rand(100000, 9900000));
}

Jalankan di terminal CPanel

nohup php script.php > output.log 2>&1 &
//atau
nohup php script.php

kalau di CPanel lihat lognya
Lognya di file nohup.out

Mematikan proses berjalan dengan nohup

pgrep -f script.php

scrape JDIHN menggunakan PHP DiDOM dan supabase

Eko Priyanto — Sun, 02 Mar 2025 14:54:43 +0000

Script PHP untuk scrape JDIHN menggunakan counting mundur.

Yup funny...

Kode lengkap

<?php

require 'vendor/autoload.php';

use DiDom\Document;

function safe_url($text) {
    return trim(preg_replace('/[^a-z0-9]+/i', '_', strtolower($text)), '_');
}

function insertToSupabase($data) {

    // Supabase API Config
    $supabaseUrl = 'https://ndahe.supabase.co';
    $supabaseKey = 'ndi45m03';


    $tableName = 'peraturan'; // Nama tabel di Supabase

    // Mengonversi array ke format asosiatif
    $formattedData = [];
    foreach ($data as $item) {
        if (!empty($item[1])) { // Abaikan field kosong
            $formattedData[$item[0]] = $item[1];
        }
    }

    $jsonData = json_encode([$formattedData]);

    $ch = curl_init("$supabaseUrl/rest/v1/$tableName");
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_HTTPHEADER, [
        "Content-Type: application/json",
        "apikey: $supabaseKey",
        "Authorization: Bearer $supabaseKey",
        "Prefer: return=representation" // Mengembalikan data yang telah di-insert
    ]);
    curl_setopt($ch, CURLOPT_POST, true);
    curl_setopt($ch, CURLOPT_POSTFIELDS, $jsonData);

    $response = curl_exec($ch);
    $httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
    curl_close($ch);

    return [
        'status' => $httpCode,
        'response' => json_decode($response, true)
    ];
}

//1987000
//1986526  working
for ($i = 1986526; $i >= 0; $i--) {

    echo "[$i]  ";

    $uri = "https://jdihn.go.id/pencarian/detail/$i";
    $html = @file_get_contents($uri); // Tambahkan @ untuk menghindari warning

    // Jika gagal mengambil halaman, lanjutkan ke iterasi berikutnya
    if ($html === false) {
        echo " \e[31m page not found  \e[0m \n";
        continue;
    }

    $document = new Document($html);

    // Cari elemen tabel pertama dalam halaman
    $table = $document->first('table');

    // Jika tabel tidak ditemukan, lanjutkan ke iterasi berikutnya
    if (!$table) {
        echo " \e[31m table not found  \e[0m \n";
        continue;
    }

    // Ambil semua baris dari tabel
    $rows = $table->find('tr');

    $data = [];
    foreach ($rows as $row) {
        // Ambil semua sel dari baris
        $cells = $row->find('td'); // Gunakan 'th' jika ingin mengambil header

        $rowData = [];

        if (isset($cells[0])) {
            $rowData[0] = safe_url($cells[0]->text());
        }

        if (isset($cells[2])) {
            $links = $cells[2]->find('a');
            foreach ($links as $link) {
                $rowData[1] = $link->getAttribute('href');
            }
            if (!isset($rowData[1])) {
                $rowData[1] = $cells[2]->text();
            }
        }

        // Tambahkan data jika tidak kosong
        if (!empty($rowData)) {
            $data[] = $rowData;
        }
    }


    $data[] = ["url_id", $i];

    $pesan = insertToSupabase($data);

    echo "\e[34m maybe \e[0m  [OK] \n";

    usleep(rand(100000, 500000));
}

Ini untuk bikin tabel di supabase, jangan lupa tambahkan id yang autoincreement (lupa namanya kalau di supabase)

CREATE TABLE peraturan (
    asal_dokumen TEXT,
    jenis_dokumen TEXT,
    nomor TEXT,
    tahun TEXT,
    judul TEXT,
    t_e_u TEXT,
    singkatan_jenis TEXT,
    tempat_terbit TEXT,
    tanggal_penetapan TEXT,
    tanggal_pengundangan TEXT,
    subyek TEXT,
    status TEXT,
    penandatangan TEXT,
    sumber TEXT,
    bahasa TEXT,
    unduhan TEXT,
    unduhan_alternatif TEXT,
    abstrak TEXT,
    unduhan_abstrak_alternatif TEXT,
    detil_dokumen TEXT,
    url_id TEXT,
);

Jangan lupa jalankan di Terminal Cpanel

nohup php script.php

Mencari konten dengan AI dan menyimpannya di text

Eko Priyanto — Sun, 02 Mar 2025 09:20:25 +0000

Kali ini kita akan bereksperimen mencari konten masakan khas tiap-tiap kabupaten/ kota menggunakan AI. Kali ini kita pakai Gemini yang gratis.

Pertama kita siapkan dulu nama nama daerahnya pada file text.

kab.txt

kode|kab|prov
11.01|Kabupaten Aceh Selatan|Aceh
11.02|Kabupaten Aceh Tenggara|Aceh
11.03|Kabupaten Aceh Timur|Aceh
11.04|Kabupaten Aceh Tengah|Aceh
11.05|Kabupaten Aceh Barat|Aceh
11.06|Kabupaten Aceh Besar|Aceh
11.07|Kabupaten Pidie|Aceh
11.08|Kabupaten Aceh Utara|Aceh
11.09|Kabupaten Simeulue|Aceh
11.10|Kabupaten Aceh Singkil|Aceh
11.11|Kabupaten Bireuen|Aceh
11.12|Kabupaten Aceh Barat Daya|Aceh
11.13|Kabupaten Gayo Lues|Aceh
11.15|Kabupaten Nagan Raya|Aceh
11.14|Kabupaten Aceh Jaya|Aceh
11.17|Kabupaten Bener Meriah|Aceh
11.18|Kabupaten Pidie Jaya|Aceh
11.16|Kabupaten Aceh Tamiang|Aceh
11.72|Kota Sabang|Aceh
11.74|Kota Langsa|Aceh
11.73|Kota Lhokseumawe|Aceh
11.75|Kota Subulussalam|Aceh

Kemudian saya akan membuat text loop, menulis semua nama daerah satu per satu dengan PHP. karena main di command line maka saya siapkan juga warnanya biar cute.

<?php
// Buka file kab.txt
$file = fopen("kab.txt", "r");


// Kode ANSI untuk warna
$red    = "\033[31m"; // Merah
$green  = "\033[32m"; // Hijau
$yellow = "\033[33m"; // Kuning
$blue   = "\033[34m"; // Biru
$reset  = "\033[0m";  // Reset ke warna default



if ($file) {
    // Lewati baris pertama karena itu adalah header
    fgets($file);

    // Baca baris per baris

    $no = 0;
    while (($line = fgets($file)) !== false) {

        $no = $no + 1;

        // Pisahkan data berdasarkan "|"
        $data = explode("|", trim($line));

        // Pastikan ada 3 elemen sebelum menampilkan
        if (count($data) === 3) {
            list($kode, $kabupaten, $provinsi) = $data;

            // Tampilkan satu per satu
            echo "Kode: $kode ";
            echo "Kabupaten: $kabupaten ";
            echo "Provinsi: $provinsi \n";
            echo "{$green}Teks ini berwarna merah{$reset}\n";
        }

        if($no == 3) { exit("{$red}[WARNING]{$reset} paksa exit \n"); }
    }

    fclose($file);
} else {
    echo "Gagal membuka file.";
}
?>

Nah, setelah bisa looping nama daerah satu satu kita akan ambil komponen $kode $kabupaten dan $provinsi
Serta menggabungkan dengan memanggil Gemini
Hmm sekalian juga simpan ke data.txt aliah script hampir jadi.

Oh iya untuk testing saya stop di baris ke 3 ya....

Kode lengkap

<?php
// Buka file kab.txt
$file = fopen("kab.txt", "r");

$file_hasil = 'data.txt';

$apiKey = "ndiasmundh3nd45m03";
$url = "https://generativelanguage.googleapis.com/v1beta/models/gemini-2.0-pro-exp-02-05:generateContent?key=$apiKey";


// Kode ANSI untuk warna
$red    = "\033[31m"; // Merah
$green  = "\033[32m"; // Hijau
$yellow = "\033[33m"; // Kuning
$blue   = "\033[34m"; // Biru
$reset  = "\033[0m";  // Reset ke warna default



if ($file) {
    // Lewati baris pertama karena itu adalah header
    fgets($file);

    // Baca baris per baris

    $no = 0;
    while (($line = fgets($file)) !== false) {

        $no = $no + 1;

        // Pisahkan data berdasarkan "|"
        $datax = explode("|", trim($line));

        // Pastikan ada 3 elemen sebelum menampilkan
        if (count($datax) === 3) {
            list($kode, $kabupaten, $provinsi) = $datax;


            $data = [
                "contents" => [
                    [
                        "role" => "user",
                        "parts" => [
                            ["text" => "sebutkan nama masakan khas di $kabupaten provinsi $provinsi minimal 10. buatkan dalam bentuk file csv dengan kolom terdiri dari: kode wilayah,kabupaten, provinsi, nama masakan, keterangan. tiap kolom dipisahkan dengan | dan tiap baris dipisahkan dengan line break. Untuk keterangan buat dalam 1 paragraf kira-kira 240 kata yang meliputi bahan, tampilan, rasa dan info lainnya. Dalam bahasa Indonesia. tidak usah diberi penjelasan cukup tampilkan data saja! kode wilayah = $kode . hilangka ```

 dan header row. hilangkan baris kosong. "]
                        ]
                    ]
                ],
                "generationConfig" => [
                    "temperature" => 1,
                    "topK" => 64,
                    "topP" => 0.95,
                    "maxOutputTokens" => 8192,
                    "responseMimeType" => "text/plain"
                ]
            ];

            $ch = curl_init($url);
            curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
            curl_setopt($ch, CURLOPT_HTTPHEADER, ["Content-Type: application/json"]);
            curl_setopt($ch, CURLOPT_POST, true);
            curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($data));

            $response = curl_exec($ch);
            curl_close($ch);

            if ($response === false) {
                echo "Curl error: " . curl_error($ch);
            } else {
                $responseData = json_decode($response, true);
                if (isset($responseData['candidates'][0]['content']['parts'][0]['text'])) {
                    $hasil = $responseData['candidates'][0]['content']['parts'][0]['text'];

                    // Buka file dengan mode append (a), sehingga data akan ditambahkan ke baris baru
                    $handle = fopen($file_hasil, 'a');

                    // Cek apakah file berhasil dibuka
                    if ($handle) {
                        // Tambahkan teks dengan newline di akhir
                        fwrite($handle, $hasil . PHP_EOL);

                        // Tutup file
                        fclose($handle);
                        unset($hasil);

                        echo "{$green}[SUCCESS]{$reset} Baris $no berhasil \n";
                    } else {
                        echo "{$red}[WARNING]{$reset} Baris $no gagal buka file  \n";
                    }


                } else {
                    echo "{$red}[WARNING]{$reset} Baris $no no response  \n";
                }
            }

        }

        if($no == 3) { exit("{$red}[WARNING]{$reset} paksa exit \n"); }
    }

    fclose($file);
} else {
    echo "Gagal membuka file.";
}
?>

Hasile gini

Tampilane gini

Jalan di background
Kemudian untuk menjalankannya tanpa henti, kita bisa menjalankannya di terminal cpanel:



nohup php script.php > output.log 2>&1 &

Tampilan terminal cpanel

Hasil di cpanel

Ternyata menyisakan 1 baris baru tiap ganti wilayah. Tidak apa=apa lah nanti bisa dibersihkan secara manual atau by sesuatu.

Ternyata sulit juga, tetap tampil baris kosong. intinya sulit main di promptnya, enakan pakai cara manual setelah file selesai dibuat