Login  |  Register
 
You are here Estrazione Dati - Web Grabber settembre 04, 2010  
Web Grabber  
E' un software facile ed intuitivo che permette di estrarre grandi quantità di dati da vari siti web, in base a regole e filtri scelti secondo le esigenze possibili.

Spider delle Pagine

Tramite uno spider si copiano in locale le pagine per la gestione. 
Sullo spider si creano dei progetti predefiniti i quali si possono rilanciare tramite un’apposita interfaccia facendo un semplice click.
Questi progetti possono essere aggiornati rispetto alle necessità delle pagine scaricate.
Per scaricare le pagine è necessario che il paging non sia fatto tramite post del form, ma che sia fatto tramite un get (link).
Per iniziare la ricerca, è possibile chiamare delle pagine partendo da un singolo post con dei parametri nel form di partenza.
Questa operazione, in un sito come quello di auto-moto.ebay.it,  prenderà  in media 4 giorni. Non c'è necessità di assistere al processo in fase di lavoro.


Grabber
Una volta scaricate le pagine sul PC in locale si può iniziare l’attività di grabbing.
Il grabbing deve essere gestito da un operatore, poiché quest’ultimo deve inserire i parametri che identificano le pagine sulle quali si farà il grabbing.
Per gestire i parametri l’utente deve inserire tramite un’apposita pagina di amministrazione le espressioni che identificano singolarmente ognuno dei dati anagrafici dei quali si vuole fare il grabbing (concessionario, tipo macchina, indirizzo, etc.); questi parametri rimangono nel sistema in maniera tale da potere essere riutilizzati nel futuro.
I dati pescati dalle pagine saranno inseriti in un database che terrà conto di tutte le ricerche già eseguite e saranno disponibili i report (Excel) dei grabbing passati.