Skip Navigation
Technology @lemmy.zip BrikoX @lemmy.zip

The text file that runs the internet

www.theverge.com The rise and fall of robots.txt

As unscrupulous AI companies crawl for more and more data, the basic social contract of the web is falling apart.

The rise and fall of robots.txt
0
Technology @midwest.social alex [they, il] @jlai.lu

The rise and fall of robots.txt
The rise and fall of robots.txt
41 2
wolny internet @szmer.info harc @szmer.info

Firmy AI naruszają podstawową umowę społeczną sieci i ignorują robots.txt.
Firmy AI naruszają podstawową umowę społeczną sieci i ignorują robots.txt.
15 0
Technology @lemmy.world Andy Reid @lemmy.world

AI companies are violating a basic social contract of the web and and ignoring robots.txt
AI companies are violating a basic social contract of the web and and ignoring robots.txt
1077 199
0 comments