Co robi ten bot
Afterglow to obserwacyjny zapis polskiego ekosystemu mediów: dokumentujemy, jak wiadomości pojawiały się, zmieniały i znikały z publicznych stron portali informacyjnych — pomiary, nie oceny. W tym celu bot pobiera publicznie dostępne strony główne monitorowanych portali (co ok. 5 minut) oraz strony artykułów, do których te strony główne linkują. Nie pobieramy treści zza logowania ani paywalla.
Identyfikujemy się jawnie: AfterglowBot/0.1 (+https://afterglow.org.pl/bot)
Jak grupujemy artykuły w wydarzenia
Powiązanie artykułów w jedno wydarzenie — i wydarzeń w Historię — jest automatyczne: porównujemy znaczenie tekstów (embeddingi) i rozstrzygamy przynależność modelem językowym. To metoda przybliżona i może się mylić — czasem rozdzieli jedno wydarzenie na dwa albo połączy dwa osobne. Dlatego przy każdym wydarzeniu pokazujemy artykuły źródłowe z linkami: grupowanie możesz sprawdzić sam.
Odróżniamy to od pomiarów bezpośrednich. Pozycja na stronie głównej, ciche edycje, czas życia i zniknięcia nie są zgadywane przez AI — to bezpośrednie odczyty tego, co portal pokazał na stronie głównej w danym momencie. Model językowy grupuje wydarzenia; nie decyduje o tym, co dany portal pokazał i kiedy.
Pełniejszy opis zakresu obserwacji, jego granic i jawnie ujawnionych progów: Metodologia i ograniczenia →.
Zasady, których się trzymamy
- Codziennie odczytujemy i archiwizujemy
robots.txti/.well-known/tdmrep.jsonkażdego monitorowanego serwisu. - Zgłoszenie wydawcy albo zmiana w
robots.txtwystarczy, żebyśmy wstrzymali zbieranie z danego serwisu. - Z artykułu zapisujemy tytuł, lead i początek tekstu — nie więcej niż około 1500 znaków, ucięte na granicy akapitu — oraz odcisk tych pól. Ten początek czyta program, który przypisuje artykuł do wydarzenia i pisze nasz opis wydarzenia, i ten sam początek porównujemy między kolejnymi odczytami, żeby wykryć zmianę nagłówka albo ten sam tekst pod różnymi adresami — zwykłe porównanie znaków, bez modeli językowych. Całego artykułu nie wykorzystujemy do niczego i nie przechowujemy go: cały tekst strony przechodzi przez nasz program wyłącznie w chwili odczytu, żeby wyciąć z niego wspomniany początek, i nie jest nigdzie zapisywany. Kopię strony głównej portalu trzymamy najwyżej 7 dni, wyłącznie do sprawdzania poprawności naszego programu, potem jest usuwana. Ze stron płatnych zapisujemy tylko tytuł i lead. Tekstu nie publikujemy i nikomu nie udostępniamy. Na stronach pokazujemy nagłówki z linkiem do źródła, pozycje na stronach głównych, godziny i nasze własne nazwy i opisy wydarzeń.
- Modeli nie trenujemy ani nie dostrajamy. Gotowe modele językowe, wywoływane przez API, robią dwie rzeczy: grupują artykuły w wydarzenia i piszą nasze nazwy i opisy wydarzeń. Dostają tytuł oraz początek leadu i tekstu — od 400 do 1200 znaków na artykuł zależnie od zadania — nigdy cały artykuł. Porównanie znaczeń (embeddingi) liczymy z tytułu, leadu i pierwszego akapitu.
- Utrzymujemy niską częstotliwość zapytań na serwis. Bot nie loguje się i nie wypełnia formularzy. Strony główne, które bez skryptów są puste, renderujemy w przeglądarce bez żadnej interakcji; pozostałe strony pobieramy bez wykonywania skryptów.
Jak nas zablokować lub skontaktować się
Najszybsza droga techniczna — reguła w robots.txt:
User-agent: AfterglowBot Disallow: /
Sprawdzamy ten plik codziennie. W każdej sprawie — zastrzeżenia, pytania, sprostowania — piszcie: contact@afterglow.org.pl.