Segueix

Això del “web scrapping” ho trobo com poc ètic. Agafa dades d’una web de manera no permesa per la web és lleig.

@spla és la única forma de poder fer determinades feines en Big data.
Moltes webs d'informació haurien de permetre fer extraccions de determinades dades d'ús i utilitat pública. Mentre tant, "web scrapping".
I no crec què sigui una forma "no permesa", simplement, no està a l'abast de tothom.

@Diegstroyer son maneres de pensar. Jo trobo poc ètic obtenir dades sense permís

@spla no crec que sigui sense permís, les dades hi són i són accessibles, però per vies poc eficients.
El web scrapping permet recollir-les eficientment.
Una opció que ajudaria a molts analistes és que les webs posessin accés per APIs, així evitarien l'anàlisi dels directoris.

@Diegstroyer en el meu parer si la web no dona les dades, per exemple via API, no vol dir que les puguis “escrapejar” i menys per temes de big data.

@spla és una opinió, però si no les dóna, que no hi siguin.
Una altre cosa és que les vulguin donar a la seva manera i amb la seva interficie, que per treballar amb grans volums fa què sigui inviable.
Un exemple d'ineficiència extrema què em ve al cap és la web del MAGRAMA del Ministeri, un horror per buscar qualsevol cosa amb les seves eines.

@spla Això és com dir que no està bé copiar (manualment) el contingut d'un llibre. Sota el meu punt de vista, l'únic debat és fer-ho de forma "carinyosa" i que el sistema llegit no pateixi, no fer-ho a sac i saturar-lo. Per la resta, el que exposem a un servidor és susceptible de ser llegit, la forma en concret no és la part important.

@papapep “escrapejar” una web no ho és gaire de carinyós.
Cadascú que faci el que vulgui, només tinc clar que em limito a veure el que la web mostra públicament perquè és el que els que l’han creat han decidit mostrar públicament.

@spla @papapep no és carinyós, però és divertit fer-ho. Això és innegable... El plaer en veure que treus milions de registres perfectament ordenats... :blobaww:

Inicia la sessió per participar a la conversa
mastodont.cat, xarxa social pels catalans d'arreu.

Servidor social en català per a la comunitat de llengua i cultura catalanes d'arreu d'internet.