Ce este scraperul?
Scraperul este componenta motorului de cautare care preia datele de pe website-ul companiei.
In sectiunea de Cariere pe website-ul companiei gasim o lista de locuri de munca. Ele devin oportunitati in motorul de cautare abia cand aceste locuri de munca sunt inserate in index.
Ce trebuie sa faci pentru a scrie un scraper?
Te-ai hotarat ca vrei sa contribui la acest proiect OPEN SOURCE cu popularea datelor de pe website-ul companiilor. Perfect!
Primul pas este sa te inscrii pe https://dev.peviitor.ro/
Ce este dev.peviitor.ro?
In sectiunea dezvoltator al motorului de cautare, pur si simplu iti declari intentia de a contribui la motorul de cautare cu date. Datele in cazul nostru reprezinta locurile de munca.
Partea importanta este ca de aici, din dev.peviitor.ro
iti generezi o cheie API.
Pentru a folosi API-ul (incepand cu versiunea 3), partea de inserare date si stergere date, vei avea nevoie de o cheie API.
Aceasta cheie API este unica pentru o companie, astfel vei defini ce companie vrei sa reprezinti.
Autentificarea in dev.peviitor.ro se face pe baza unui cont de GitHUB sau GitLAB.
Limitari
Esti limitat la a prelua date de pe un singur website si astfel poti adauga in motorul de cautare doar o companie.
De ce aceasta limitare?
In timp, companiile isi schimba partea de UI al website-ului si astfel scraperul va trebui updatat o data cu un upgrade al interfetei utilizator. Vrem ca atunci cand iti asumi aceasta responsabilitate de a popula locurile de munca pentru o companie, sa reusesti a face update atunci cand compania decide o modificare de interfata. E de ajuns o persoana sa raspunda de locurile de munca dintr-o anumita companie.
Daca intampini probleme cu autentificarea sau nu reusesti sa te descurci, lasa-ne un comentariu pe pagina de comunitate de pe github: comunitate
Top comments (0)