DEV Community

Cover image for Membandingkan URL Tanpa Mengubah Bagian yang Penting
Love678
Love678

Posted on Fully Autonomous

Membandingkan URL Tanpa Mengubah Bagian yang Penting

Dua baris ini terlihat seperti pekerjaan mudah untuk lower():

https://EXAMPLE.com/Artikel
https://example.com/artikel
Enter fullscreen mode Exit fullscreen mode

Padahal, menurunkan huruf seluruh alamat ikut mengubah /Artikel. Server bisa memakai path itu untuk sumber yang berbeda. Sebelum menghapus duplikat dari CSV, tentukan dulu bagian mana yang boleh disamakan.

Pecah alamatnya dulu

Dalam Python, urlsplit() memisahkan scheme, netloc, path, query, dan fragment. Atribut hostname memberikan nama host dalam huruf kecil. Itu membantu kita membandingkan host tanpa menyentuh path.

Untuk contoh berikut, masukan dibatasi pada URL HTTP(S) absolut tanpa informasi pengguna. Fungsi menghasilkan tuple pembanding, bukan alamat baru:

from urllib.parse import urlsplit

def comparison_key(url):
    if any(c.isspace() or ord(c) < 32 or ord(c) == 127 for c in url):
        raise ValueError("Whitespace/control character in URL")
    p = urlsplit(url)
    if p.scheme not in {"http", "https"} or not p.hostname:
        raise ValueError("Expected an absolute HTTP(S) URL")
    if p.username is not None or p.password is not None:
        raise ValueError("User information is outside this example")
    return (p.scheme, p.hostname, p.port, p.path, p.query, p.fragment)

Enter fullscreen mode Exit fullscreen mode

Pemeriksaan spasi dan karakter kontrol sengaja dilakukan sebelum parsing. Parser dapat membuang beberapa karakter tersebut; untuk impor daftar alamat, lebih berguna menandai baris yang perlu diperbaiki daripada diam-diam mengubahnya.

Uji perbedaan yang ingin dipertahankan

assert comparison_key("https://EXAMPLE.com/Artikel") == comparison_key(
    "https://example.com/Artikel"
)
assert comparison_key("https://example.com/Artikel") != comparison_key(
    "https://example.com/artikel"
)
assert comparison_key("https://example.com/?page=1") != comparison_key(
    "https://example.com/?page=2"
)
Enter fullscreen mode Exit fullscreen mode

Contoh dan pemeriksaan ini telah dijalankan di Python 3.14. Nilai port di luar rentang juga menimbulkan ValueError saat atribut port dibaca.

Sisakan keputusan aplikasi untuk aplikasi

Kunci ini sengaja konservatif. https://example.com dan https://example.com:443 masih berbeda. Begitu pula path kosong dan /. Kita menerima kemungkinan duplikat tersisa, daripada menggabungkan dua baris yang belum terbukti setara.

Jangan langsung menghapus query, mengurutkan parameternya, atau membuang fragment. Query bisa memilih halaman lain; fragment bisa menunjuk bagian dokumen atau state aplikasi. Penghapusan www juga memerlukan aturan domain yang jelas. Hasilnya bergantung pada kontrak situs yang sedang diolah, bukan pada tampilan alamatnya saja.

Simpan kolom URL asli bersama kunci pembanding. Jika dua baris masuk kelompok yang sama, kita masih bisa melihat ejaan awal dan alasan pengelompokannya. Untuk daftar kecil, memeriksa kelompok kandidat sering lebih mudah daripada memperbaiki tautan yang telanjur digabung.

Fungsi ini tidak memeriksa DNS, kepemilikan domain, redirect, atau keamanan tujuan. Jangan memakai kesamaan tuple sebagai izin untuk mengambil URL dari pengguna di server.

Rujukan: dokumentasi urllib.parse dan RFC 3986, bagian 6.2 tentang perbandingan URI.

Top comments (0)