Roboten du ser i loggene

Hvis du fant lovspor-observatory i webserverloggen din, er dette siden den peker til. Her står hva den gjør, hva den ikke gjør, og hvordan du stopper den.

Hva den gjør

Den henter kunngjøringer og lokale forskrifter fra norske kommuners og fylkeskommuners nettsider, og lagrer sidene slik de så ut på hentetidspunktet. Formålet er å kunne dokumentere når noe ble publisert og endret — noe som ikke lar seg rekonstruere i ettertid når en side først er overskrevet.

Prosjektet er åpent og ikke-kommersielt.

Hvordan du stopper den

Legg dette i robots.txt:

User-agent: lovspor-observatory
Disallow: /

Roboten leser robots.txt på nytt før hvert eneste kall, ikke én gang per døgn. En regel du legger inn nå gjelder fra neste forespørsel. Du trenger ikke kontakte oss, og du trenger ikke vente.

Vil du bare begrense den i stedet, virker Crawl-delay og vanlige Disallow-stier på samme måte.

Hvordan den oppfører seg

• Leser robots.txt live foran hvert kall, og respekterer Disallow og Crawl-delay.
• Starter fra sitemapet dere selv oppgir i robots.txt. Den gjetter ikke adresser.
• Følger ikke videresendinger ut av domenet den har fått klarering for.
• Er robots.txt utilgjengelig, hentes ingenting. Tvilstilfeller går alltid i retning av å la være.
• Henter hver side én gang, og bare på nytt når sitemapet deres melder at siden er endret.
• Kjører ikke JavaScript, fyller ikke ut skjemaer, og logger seg ikke inn noe sted.

Før roboten får hente noe fra et nettsted i det hele tatt, må et menneske ha gjennomgått nettstedets robots.txt og bruksvilkår og skrevet ned konklusjonen. Uten den vurderingen nekter programvaren å sende en eneste forespørsel til domenet.

Hva som lagres

Sidene lagres som de kom, med tidspunkt og sjekksum, som dokumentasjon på hva som lå ute når. Materialet ligger utenfor de offentlige kodelagrene våre, og publiseres ikke videre uten et eget rettslig grunnlag for akkurat det. At noe er offentlig tilgjengelig på nett er ikke i seg selv et slikt grunnlag, og vi behandler det ikke som om det var.

Kontakt

Spørsmål, innvendinger eller ønske om at vi holder oss unna: bartosz.kobylinski@gmail.com. Vi retter oss etter det dere foretrekker, og trenger ingen begrunnelse.

Koden er åpen og kan leses av hvem som helst: github.com/bartoszkobylinski/lovspor (AGPL-3.0). Alt som står på denne siden er etterprøvbart der.