Članice DZNAP-a Tanja Ivančić Belošević i Nataša Vlašić Smrekar istražile su pojavljuje li se automatizirano novinarstvo na hrvatskoj medijskoj sceni te koliko su novinari i drugi sudionici novinarskog tržišta upoznati s primjenom algoritama za proizvodnju vijesti u svijetu i što misle o tome.
Planiraju li hrvatski izdavači razvoj automatiziranog novinarstva, pribojavaju li se novinari pojave automatizirane konkurencije te kako bi čitatelji reagirali na pojavu vijesti koje nisu nastale ljudskom rukom?
Istraživački projekt ‘Automatizirano novinarstvo u Hrvatskoj’ ostvaren je uz financijsku potporu Društva za zaštitu novinarskih autorskih prava.
Posljednjih nekoliko godina korištenje algoritama koji automatski stvaraju vijesti iz strukturiranih baza podataka prodrmali su novinarsku branšu – pogotovo otkad je Associated Press, jedna od najvećih i najbolje organiziranih novinskih kuća 2014. godine počela automatizirati produkciju kvartalnih korporativnih financijskih izvješća.
Jednom razvijeni, algoritmi ne samo da kreiraju tisuće novinskih vijesti na određenu temu, nego to rade brže, jeftinije i potencijalno s manje grešaka nego ijedan čovjek. Logično, pojava algoritama potaknula je novinarske strahove da će automatski proizveden sadržaj izazvati gubitak radnih mjesta, dok u isto vrijeme znanstvenici i izdavači vide razvoj tehnologije kao mogućnost da se unaprijedi kvaliteta vijesti.
U ovom radu pokušat ćemo predstaviti trenutno stanje automatiziranog novinarstva u svijetu, naznačiti neka ključna pitanja i potencijalne posljedice njegove primjene, i posebno istražiti postoji li već neki oblik automatiziranog novinarstva u Hrvatskoj, razmišljaju li ili možda već i rade hrvatski izdavači s nekim oblicima automatizirane produkcije vijesti te što bi to značilo za novinare i njihova autorska prava; kako o tome razmišljaju izdavači, novinari i čitatelji.
Softver za pisanje vijesti
Na svjetskoj sceni razvoj automatiziranog novinarstva u posljednje je vrijeme uistinu uzbudljiv. Kompanije diljem svijeta razvijaju softver za generiranje vijesti. Osim Associated Pressa, na ovom polju prednjače Forbes, The New York Times, Los Angeles Times i ProPublica koji svi redom već koriste softver za proizvodnju vijesti. Iako je ova tehnologija u ranoj razvojnoj fazi, automatizirano novinarstvo stiglo je u redakcije i vjerojatno će tamo i ostati.
U kojem obliku? Hoće li se razvijati dalje od najjednostavnijih financijskih i sportskih vijesti? Hoće li izbrisati tisuće radnih mjesta u medijskoj industriji ili će novinare osloboditi najdosadnijih, najjednostavnijih i najrutinskijih poslova kako bi se mogli posvetiti kvalitetnijim i zahtjevnijim novinarskim pričama?
Za sada, automatizirano novinarstvo najkorisnije je u proizvodnji rutinskih vijesti o temama za koje su dostupni čisti, točni i strukturirani podaci. Automatizirano novinarstvo ne može se koristiti za zahtjevne naslovne teme za koje ne postoje strukturirane baze podataka ili za koje je kvaliteta podataka upitna ili loša.
Ključni pokretač razvoja automatiziranog novinarstva je rastuća dostupnost strukturiranih baza podataka, kao i cilj izdavačkih kuća da istodobno režu cijenu i povećaju količinu vijesti.
Potencijal automatiziranih vijesti specifičan je. Nema sumnje da su algoritmi sposobni generirati vijesti brže, u većim količinama, i potencijalno s manje grešaka nego ljudi. Mogu se služiti istim podacima da ispričaju priče na različitim jezicima i iz različitih uglova, a mogu ih i personalizirati prema individualnim čitateljskim sklonostima. Algoritmi imaju potencijal za generiranje vijesti na zahtjev stvaranjem priča kao odgovor na korisnička pitanja o podacima.
Baš kao potencijale, algoritmi imaju i svoja ograničenja. Oslanjaju se na podatke i pretpostavke, a i jedno i drugo podložno je pristranosti i pogreškama. Kao rezultat toga, algoritmi mogu proizvesti ishode koje su neočekivani, nenamjerni i sadrže pogreške. Algoritmi ne mogu postavljati pitanja, objašnjavati nove fenomene, ili utvrđivati uzročnost i stoga su limitirani u sposobnosti opažanja društvenih pojava i ispunjavanja temeljnih novinarskih zadataka, kao što je formiranje javnog mnijenja.
Kvaliteta pisanja automatiziranih vijesti inferiorna je ljudskom tekstu, ali vrlo će se vjerojatno poboljšavati, posebno kako će napredovati tehnologija proizvodnje prirodnog jezika. Niz je ključnih pitanja i posljedica pojave automatiziranog novinarstva.
“Brak čovjeka i stroja”
Kad je riječ o novinarima, vjerojatno je da će se ljudsko i automatizirano novinarstvo zbližiti u nekom obliku “braka čovjeka i stroja”. Novinarima će se pružiti prilika da razvijaju vještine u kojima su algoritmi neuspješni, kao što su dubinske analize, intervjui, i istraživačko izvještavanje. Vrlo je vjerojatno da će automatizirano novinarstvo zamijeniti novinare koji pokrivaju rutinske teme, ali i stvoriti nove poslove paralelno s razvojem algoritama za pisanje vijesti.
Kad je riječ o čitateljima, odnosno “korisnicima vijesti”, istraživanje Tow centra za digitalno novinarstvo sa Columbia Journalism School, na primjer, pokazuje da čitatelji ocjenjuju automatizirane vijesti kao vjerodostojnije od onih napisanih ljudskom rukom, ali da istodobno ne uživaju pretjerano čitajući ih. Automatizirane vijesti prikladne su za one teme kod kojih je osiguravanje činjenica na brz i učinkovit način važnije od sofisticirane naracije, ili tamo gdje korisnici imaju niska očekivanja vezano uz kvalitetu pisanja. Za sada se vrlo malo zna o tome kakvi su zahtjevi korisnika kad je riječ o transparentnosti algoritama i njihova korištenja, kao i tome trebaju li (ili žele) čitatelji razumjeti kako algoritmi funkcioniraju.
S obzirom da algoritmi ne mogu biti odgovorni za pogreške, odgovornost za automatizirani sadržaj ostat će na stvarnoj osobi, izdavaču ili novinaru. Pitanje transparentnosti i odgovornosti algoritama postat će kritično kad se pojave pogreške, pogotovo ako će se one dogoditi u pokrivanju kontroveznih tema ili personaliziranim vijestima. Osim osnovnih smjernica koje bi trebalo slijediti prilikom automatskog generiranja vijesti, malo se zna o tome koje bi informacije trebale biti transparentne kad je riječ o tome kako funkcioniraju algoritmi.
Upitna je društvena korisnost automatiziranog pisanja vijesti. Povećana količina lako dostupnih vijesti dodatno će opteretiti čitatelja u potrazi za njemu relevantnim informacijama. Automatizacija zajedno s personalizacijom vijesti vjerojatno će izazvati zabrinutost oko mogućnosti da će se pojaviti fragmentacija javnog mnijenja. Vrlo se malo također zna o potencijalnim posljedicama po demokraciju ako algoritmi preuzmu važnu novinarsku ulogu kritičara vlasti.
U ovom se trenutku ovakve i slične svjetske vijesti o razvoju algoritama za pisanje vijesti u Hrvatskoj, u kojoj se najveće novinske redakcije već godinama bore za goli opstanak, čine kao znanstvena fantastika ili daleka budućnost. Stvarnost je ovdje drukčija: u borbi za opstanak klasični novinski izdavači dijele otkaze i režu sve druge vrste “troškova” pri tome neminovno rušeći i temeljne novinske standarde. Profesionalni standardi i radni uvjeti i norme na novinskim internetskim portalima još su niži.
Pojava interneta i posebno društvenih mreža doslovce je rastočila i još uvijek rastače medijsku industriju kao profesionalnu djelatnost. U svemu tome autorska prava novinara, koja ni prije pojave interneta nisu bila osobito zaštićena, praktički su potpuno ispala iz fokusa i jedva da itko o njima vodi računa, uključujući čak i same novinare zauzete bitkom za preživljavanje. Jednim dijelom, ovo je istraživanje potvrdilo tezu da su korištenje i razvoj algoritama za pisanje vijesti u Hrvatskoj doista samo budućnost.
Riječ izdavača
Tomislav Wruss, direktor izdavaštva Hanza medije, jedne od dvije najveće izdavačke kuće u Hrvatskoj koja objavljuje pet dnevnih listova i trideset magazina, tvrdi da Hanza media ne razvija i ne planira razvijati nijedan oblik automatiziranog novinarstva. Hanza media također, ističe Wruss, ne planira koristiti usluge nijedne od inozemnih kompanija koje omogućuju automatizirano stvaranje vijesti poput njemačkog AX Semantisca, francuskog Syllabsa ili ruskog Yandexa.
S druge strane, naše istraživanje potvrđuje da je, premda se automatizirano pisanje vijesti u Hrvatskoj čini kao SF, automatizacija novinarstva i te kako utjecala na hrvatske izdavače, novinare i čitatelje. Pri tome nije riječ o algoritamskom pisanju vijesti kao samo jednom obliku automatizacije novinarstva, nego tehnološkom skoku koji se dogodio ne samo novinarskoj industriji, nego svijetu informacija općenito pojavom interneta i komunikacijskih platformi.
“Automatizaciju novinarstva u užem smislu tog pojma, kao strojno stvaranje sadržaja, ne smatram jednim od najvažnijih trendova u modernom novinarstvu, ali automatizaciju kao strojno posredovanja sadržaja korisnicima – da”, smatra Wruss objašnjavajući da je tehnološki skok dokinuo privilegiranu poziciju izdavača i omogućio svakom čitatelju da postane proizvođač sadržaja/izdavač.
“To je dovelo do rastakanja monopola moći izdavača i demokratizacije proizvodnje sadržaja. Mnogi su to tumačili kao utopijski skok od društva consumera u kolaborativno društvo prosumera. Granica masovnih medija i interpersonalne komunikacije uvelike je izbrisana, no što je tehnologija dala, to je u puno snažnijem obliku oduzela”, upozorava Wruss dodajući da je moć u visokotehnologiziranom društvu koncentrirana u rukama daleko manjeg broja igrača.
Riječ je o onima koji raspolažu komunikacijskim platformama, alatima za strojnu agregaciju, pretraživanje i serviranje sadržaja, za praćenje i analizu korisnika te serviranje njihovih potreba industrijama/klijentima (Batelleov “the database of intentions”).
Wruss ističe kako je “automatizacija – i bez da uopće razgovaramo o strojnom kreiranju sadržaja – zapravo rastočila novinarstvo shvaćeno kao institucionalnu djelatnost”, pri čemu se poziva na Picarda (Robert G. Picard, jedan od vodećih svjetskih specijalista u području ekonomije medija, op.a).
Institucionalno novinarstvo 1) funkcionira kao biznis, 2) upošljava neku profesionalnu elitu djelatnika, 3) funkcionira kao izlog gospodarstvu prema nekoj masovnoj publici, 4) obavlja određenu privilegiranu društvenu poziciju tumačenja zajednice, 5) iz čega je proizašla legislativa i jedno tijelo neformalnih pravila koji reguliraju odnose među stakeholderima ove djelatnosti; izdavačima, novinarima, oglašivačima, zajednicom i državom.
Automatizacija je dokinula dva stupa koja su novinarstvo činila održivim biznisom: 1) prodaju sadržaja korisnicima, i 2) prodaju masovne publike oglašivačima.
Agregatori sadržaja, content farme, i korisnici kao kreatori sadržaja doveli su do toga, upozorava Wruss, da se vrijednost sadržaja asimptotički približila nuli. Kod oglašavanja – masovna publika je nestala, i sav prihod od oglašavanja ide onima koji agregiraju milijarde korisnika i raspolažu alatima za strojnu real time analizu i serviranje oglasa masovnoj individialnoj publici.
Wruss navodi kako su ovakav razvoj događaja odavno predvidjeli Cass Sunstein (profesor na Harvardu, autor knjiga “Infotopia”, “Republic. com 2.0” itd. op.a) i Eli Pariser (američki politički aktivist, autor knjige “The Filter Bubble”), a nedavno i Zeynep Tufekci, turska autorica i sociologinja koja se ponajprije bavi socijalnim implikacijama novih tehnologija, op.a).
Da rezimiramo, artikulaciju interesa zajednice je umjesto većeg broja privilegiranih subjekata (izdavača) i jedne privilegirane kaste (novinara), ali u uvjetima koje je zajednica formalno ili neformalno regulirala, preuzeo daleko manji broj tehnoloških kompanija u posve nereguliranom okruženju.
U takvom nereguliranom okruženju najjače svjetske medijske kuće, a kao što će naše istraživanje pokazati, i neke domaće, umjetnu inteligenciju koriste na nove načine kako bi pojednostavile ili ubrzale novinarske procese u redakciji.
Brojni su primjeri redakcija koje su integrirale neke od oblika umjetne inteligencije (AI), a mi ćemo ovdje pokušati dati odgovor na neka pitanja koja se tiču novinarstva kao biznisa, ali i čitatelja. To su pitanja: koje nove novinarske zadatke umjetna inteligencija čini mogućim; koje aplikacije umjetne inteligencije omogućuju širu i bržu potragu za informacijama i koje mogu zamijeniti novinare; kako redakcije mogu koristiti takve aplikacije da unaprijede kvalitetu medija te kako će se to odraziti na budućnost novinarstva.
Primjeri iz svjetske prakse
Primjeri iz nekoliko velikih svjetskih redakcija trebali bi nam pomoći da sagledamo kako se novinarstvo mijenja, i omogućiti nam da zamislimo budućnost novinarstva sljedećih godina (i kako će se, premda to još možda i ne vjerujemo, i naša tvrtka prilagoditi tim promjenama).
Nekoliko je temeljnih pravaca, ili izuma, koji unapređuju novinarske procese u redakcijama uz pomoć AI:
Unapređivanje medijskih tijekova rada: Umjetna inteligencija (AI) omogućuje novinarima da se usredotoče na ono što rade najbolje – izvještavanje kao što ga prikazuje BBC-ov Juicer.
Automatiziranje običnih zadataka: aplikacija kao što je Reutersova News Tracer može pratiti najnovije vijesti, tako da su novinari toga oslobođeni.
Prikupljanje veće količine podataka: Novinarska pretraživanja podataka mogu se izvesti puno brže, kao što je pokazala aplikacija Lab’s Editor The New York Timesa
Otkrivanje medijskih uvida: informacije se mogu brzo i učinkovito povezati, kao što pokazuje aplikacija The Washington Posta Knowledge Map
Uklanjanje lažnih vijesti: Provjera činjenica je brza i pouzdana. Facebook upotrebljava AI za otkrivanje uzoraka riječi koji mogu ukazivati na lažnu vijest.
Generiranje tekstova: Računala mogu sastaviti izvještaje i priče iz sirovih podataka, kao što to radi aplikacija Narrative Science platforme za razvijanje prirodnog jezika Quill, koja pretvara podatke u inteligentne priče.
Evo i primjera nekoliko svjetskih novinskih kuća koje koriste umjetnu inteligenciju da bi unaprijedile novinarske procese:
New York Times počeo je 2015. primjenjivati svoj eksperimentalni projekt umjetne inteligencije poznat kao Editor. Cilj projekta bio je pojednostaviti novinarske procese. Dok pišu članak, novinari označavaju fraze, naslov ili glavne točke teksta. Računalo nauči prepoznavati te semantičke oznake i najvažnije dijelove članka. Pretražujući podatke u realnom vremenu i izdvajajući podatke bazirane na traženim kategorijama, kao što su događaji, ljudi, lokacije ili datumi, Editor čini informacije dostupnijima, pojednostavljujući proces istraživanja i omogućujući brzu i točnu provjeru činjenica.
New York Times koristi također AI u jedinstvenom pristupu moderiranju čitateljskih komentara, ohrabrujući na takav način konstruktivnu raspravu i eliminirajući uznemiravanje i zlostavljanje. Poznat kao srdačan i poticajan forum, Timesov odjel za komentare, koji trenutačno moderira 14 ljudi, odgovoran je za ručno pregledavanje više od 11.000 komentara dnevno. Tako naporan radni tempo ograničava komentiranje na ne više od 10 posto svih Timesovih članaka.
Ali Timesovo eksperimentiranje s AI rješenjem, koje može promijeniti način moderiranja komentara i proširiti administriranje kometara na veći broj članaka, mogao bi omogućiti uštede NYT-u i istodobno osigurati više zanimljivih razgovora čitateljima.
Aplikacija The Perspective API koju je razvio Jigsaw (dio Googleove kompanije Alphabet) organizira čitateljske komentare interaktivno što administratoru komentara omogućava da brže sagleda koji su možda toksični i trebaju biti eliminirani. Uz pomoć ove aplikacije čitatelji mogu pregledavati komentare kližući pokazivač na vrhu stranice slijeva na desno. Što se pokazivač smjesti više desno, to su komentari toksičniji. To omogućuje korisnicima da čitaju i razmjenjuju komentare koji su im zanimljivi i pri tome izbjegnu one agresivnije.
BBC je jedna od najvećih svjetskih novinskih agencija koja se služi nekim AI oruđima. BBC je skladište golemih količina podataka; dnevnih vijesti, tema i videa, da ne spominjemo arhive. Tu su i podaci iz drugih izvora vijesti, vladini izvori i internet. Zar ne bi bilo korisno ako bi postojao način da se povežu svi ti podaci tako da istodobno postanu dostupniji i smisleni? Od 2012. godine BBC News Pabs koristi aplikaciju Juicer za ekstrakciju podataka koja radi na točno takav način.
Računalo nadgleda oko 850 RSS feedova (skup Web formata koji se rabe za web stranice koje se često osvježavaju) globalnih vijesti, prikuplja i izdvaja vijesti iz BBC-a i drugih izvora. Zatim ih semantički označava i svrstava u četiri kategorije: organizacije, lokacije, ljudi i stvari. Ako novinar, na primjer, traži posljednju priču o američkom predsjedniku Trumpu ili članak vezan uz kompanije u AI sektoru, Juicer brzo pretraži web i isporuči listu povezanog sadržaja. BBC Lab upravo eksperimentira i s time da istu vrstu ekstrakcije omogući iz video sadržaja pretražujući činjenice na različitim dijelovima slike ili snimke.
Washington Post eksperimentirao je s automatiziranim pisanjem vijesti (koje se ponekad naziva “robotsko novinarstvo”) koristeći pametni sofver Heliograf. Ovaj je robot debitirao u ljeto 2016. godine pokrivajući Olimpijske igre u Riju. Skupljao je vijesti i analizirao prikupljene podatke o Igrama, te je informacije uspoređivao s relevantnim frazama u predlošku priče i dodavao informacije potrebne da se napiše priča koja se može objaviti na različitim platformama.
Heliograf je također upozoravao novinare na anomalije pronađene u podacima. To je značilo da je tijekom Olimpijskih igara Heliograf pratio podatke o broju bodova i broju medalja u stvarnom vremenu, oslobađajući novinare kako bi mogli raditi na stvaranju drugog sadržaja. Automatizirani novinarski proizvodi izvorno su nastali upravo na informacijama u području sporta i financija – gdje se sirovi podaci iz vijesti mogu prenijeti u koherentnu priču.
Uz već spomenute redakcije, nekim oblikom automatiziranog novinarstva služe se i Yahoo! Sports, Associated Press, Quartz Digital News, Guardian i drugi izdavači.
U anketi koju smo za potrebe ovog istraživanja provele među novinarima, 38-godišnja kolegica koja u jednim dnevnim novinama prati politiku, na pitanje o tome hoće li se uskoro i u hrvatskom novinarstvu pojaviti neki oblik automatiziranog novinarstva, pametno odgovara “vjerojatno, nismo otok”.
Primjeri iz Hrvatske
U hrvatskoj stvarnosti, premda stidljivo, takve su se mogućnosti već pojavile.
Krešimir Kovač, vlasnik i direktor varaždinske tvrtke Internet novinarstvo, otkriva kako je ova tvrtka za inozemno tržište lansirala desetak projekata koji su u potpunosti automatizirani prikazi podataka u obliku koji je prihvatljiv za ljude. “Svaki pojedini projekt ima u prosjeku nekoliko stotina tisuća stranica koje odgovaraju na različita pitanja na desetke različitih jezika”, kaže Kovač objašnjavajući kako je to u potpunosti automatiziran oblik proizvodnje sadržaja, ali rezultat nisu klasični članci nego više informativni tekstovi koji suhoparne podatke pretvaraju u kratke tekstove.
“Radimo i automatizirano uređivanje uz malo ‘ljudske’ dorade i kontrole. Drugim riječima, na različite ali precizno definirane načine portali skupljaju različite vrste novinskog sadržaja. Ljudska intervencija svodi se na kontrolu, a urednik je zapravo virtualan i oslanja se na različite povratne informacije prikupljene od čitatelja (“klikanost”, komentiranost, aktivnost na društvenim mrežama, aktivnost unutar samih članaka itd.), kaže Kovač. Krajnje pojednostavljeno, softver bira na primjer ‘najlajkanije’ članke, a čovjek pazi da softver ne izabere dva puta isti članak iz različitih izvora.
Glavni je posao ove tvrtke još uvijek, međutim, prilagodba novinarstva modernim medijima, a ne automatizirano novinarstvo.
“Unutar EPH (današnja Hanza media) imali smo na raspolaganju stotine tisuća tekstova koji su bili uređivani tako da budu prilagođeni tisku, a zanemarivali su osnovne zakonitosti interneta. Jednostavnim prilagodbama opreme teksta (naslov, nadnaslov, itd.), razdvajanjem prevelikih tekstova u manje cjeline, dodavanjem tagova, definiranjem ključnih riječi i drugim sličnim doradama uspijevali smo napraviti ogromne pomake u vrlo kratko vrijeme i s vrlo ograničenim brojem ljudi”, kaže Kovač.
To nije u pravom smisli riječi automatizirano novinarstvo nego više naknadna prilagodba tekstova internetskim medijima, ono što bi zapravo trebalo raditi u normalnoj dnevnoj uredničkoj i novinarskoj produkciji tekstova.
“Informatika nije dovoljno prisutna, odnosno presporo ulazi u sve oblike rada u Hrvatskoj, pa i novinarstvo. Zbog toga je ‘klasični’ novinarski rad često prilagođen isključivo starijim formama, prvenstveno tisku, a zanemaruju se mogućnosti koje nude suvremene tehnologije. Prilagodba novinarstva modernim medijima katkad se krivo interpretira i negativno etiketira kao “automatizirano novinarstvo”, ističe Kovač.
Dr. sc. Marko Velić, voditelj Data Science tima Styrije, novinske izdavačke kuće, tvrdi da se, kad je riječ o onome što prvo asociramo kao automatizaciju novinarstva, ili robotsko pisanje tekstova, jednostavno neće dogoditi u većem obujmu. Strojevi neće zamijeniti ljude, ali im mogu pomoći. Prakse, odnosno algoritmi koji mogu generirati kratak tekst iz strukturiranih podataka, primjerice, financijskih izvještaja ili sportskih događanja već su tu. Napredak u tom smislu može ići jedino tako da se osmisle algoritmi koji kratke tekstove mogu proizvoditi u realnom vremenu.
Primjerice, izvještavati s utakmica o postignutim golovima i prekršajima i zamijeniti ljude na portalima koji to trenutačno rade “ručno”. Takvo što, tvrdi Velić, može se očekivati u skorije vrijeme. S obzirom na razvoj Big Date i IoT-a (interneta stvari), možemo očekivati da će sve više stvari i ljudi biti uvezano, te da će senzori jednostavno biti svugdje. Već postoje lopte i gol linije koje su opremljene senzorima i točno mogu prikazati je li lopta prešla crtu ili nije. Uslijed takvih tehnoloških pomaka, nadogradnja algoritmima koji automatski pišu kratke rečenice i objavljuju ih nije SF. No, i takvo što, kada se radi o novinarima i njihovu poslu, mora biti pod nadzorom, i tek je alat u sklopu izvještaja.
Dakle, kaže Velić, razvoj se događa na polju alata koji pomažu novinarima i urednicima i samim tim djelomično automatiziraju novinarstvo. Primjer takve automatizacije jest i vremenska prognoza, jedan od prvih primjena analize podataka ili trenda Big Date. U osnovi, sa stanovišta tehnologije moguće ju je posve automatizirati. No, tu se ipak ne radi o novinarskom uratku.
Kada govorimo o Styriji, napori koji se ulažu, odnosno smjer u kojem djeluje odjel Data Sciencea jest da se pomogne načinu plasiranja vijesti i tekstova na portalima. Konkretan primjer na kojem se radi jest tagiranje i spajanje sadržajno sličnih tekstova s ciljem da se korisniku ponudi cjelovitija i smislenija informacija. Novinarima se u tom smislu, posebice urednicima olakšava posao koji se trenutačno radi ručno i u kojem vlada popriličan kaos jer je podložan subjektivnim odlukama, ali i uvjetovan brzinom. Usto, umjetna inteligencija, odnosno programi koji ‘pametnije’ misle i prepoznaju pravi sadržaj, eliminiraju i pogreške i ujednačavaju procese.
U konkretnom slučaju, napredak se odnosi na to da stroj ne povezuje samo ključne riječi, već može prepoznati temu o kojoj se piše. Taj naš proizvod već ostvaruje 36 posto bolje rezultate nego kada to čovjek radi ručno, što se testira u dnevnim novinama 24 sata. U tom kontekstu, kaže Velić, radi se uvelike i na pomoći pri odabiru fotografija, dakle, velike baze fotografija također valja ujednačiti i olakšati ponudu. Naravno, na kraju će urednik donijeti konačnu odluku pri objavi.
“Premda se čini jednostavno, u tom dijelu koristimo computer vision koji smo unaprijedili, odnosno doveli do stupnja da softver uopće može takvo što odraditi što nije mala stvar iako se laicima na prvi pogled čini samo po sebi razumljivo. Naime, veliki skok u tehnologiji bilo je otkriće računalnog vida, kada se strojeve naučilo da mogu i vidjeti i tako procesuirati podatke”, kaže Velić.
Kako ističe, automatizacija novinarstva ide u smjeru olakšavanja uređivanja i priređivanja podataka, skraćuje se ‘rudarski posao’ koj novinari trenutačno sami obavljaju i samim time su spori i više griješe. Velić dodaje: “Tehnologija uz Artificial Intelligence (AI) postaje iznimno koristan alat u novinarskoj industriji, no za sada neće zamijeniti ljude, a vjerujem niti u tako skoroj budućnosti”.
Govorimo li o korisnicima ili čitateljima strateški je cilj povezati dva svijeta, obradu slike i teksta, što je temeljeno na neuronskoj mreži, naglašava Velić. Naučili smo mrežu da na temelju fotografije i popratnog teksta donosi pravi rezultat. Za sada imamo znanstveni rezultat i slijedi primjena u praksi. U konačnici bismo trebali dobiti metodu posve personaliziranog iskustva čitanja portala, gdje bi svatko dobio i svoju naslovnicu, kaže nam Velić.
Stavovi novinara
“Jeste li čuli za automatizirano novinarstvo? Što je po vašem mišljenju automatizirano novinarstvo?” – pitanja su iz ankete na koje je 56-godišnji novinar koji radi na web portalu dnevnih novina ovako odgovorio: ”Načuo. Zapravo mi je to teško shvatiti i pojmiti. Valjda neki program koji sam unosi i obrađuje podatke i objavljuje ih.”
Urednica na news portalu (45) na isto je pitanje odgovorila: “Sa sintagmom ‘automatizirano novinarstvo’ upoznata sam površno, na razini vijesti o početku primjene posebnih softvera i algoritama u ‘proizvodnji’ vijesti. Kako je digitalizacija promijenila i novinarski pristup izvoru informacija, automatsko bi novinarstvo podrazumijevalo ‘izradu’ medijskog sadržaja, pretpostavljam, ograničenog sadržajnog dometa (financijski izvještaji, servisne obavijesti…)
Puno je češći odgovor u anketi na ista ova pitanja vrlo kratak: “nisam čuo/la za automatizirano novinarstvo”. A riječ je o zaposlenicima većih izdavačkih kuća koji većinom rade za tiskana izdanja ili na način tiskanih izdanja i nisu upućeni u napore svojih tvrtki da moderniziraju proizvodnju vijesti, ili, u drugim slučajevima, te tvrtke niti ne pokazuju interes da se prilagode digitalizaciji medija, a kamoli učine i neki korak u smjeru automatizacije.
Krešimir Kovač, čija je tvrtka Internet novinarstvo surađivala s većinom hrvatskih novinskih izdavačkih kuća, kaže: “Informatika presporo ulazi u novinarstvo. Čak i mlađe generacije razmišljaju ili ‘prenovinarski’ ili ‘pretehnički’ i teško spajaju jedno i drugo.” Prema njemu, problem kreće od škole koja to nikako ne spaja preko fakulteta koji su također ili u jednom ili u drugom “taboru”, pa do starijih generacija kojima je teško pratiti korak s tako brzim promjenama.
Kad je riječ o izdavačima, Kovač tvrdi da su njihove reakcije na pojavu automatiziranog novinarstva pozitivne, i da jako ovise o otvorenosti konkretnog menadžmenta, odnosno uredništva novim načinima razmišljanja i rada.
“Najteže je u samim temeljima početi drukčije razmišljati. Nije problem toliko u znanju, nego u načinu razmišljanja. Primjerice, dugogodišnjem novinskom uredniku koji u glavi ima ‘špigl’ i parove stranica koje treba ispuniti teško je objasniti da u pozadini news portala nema nikakvih ograničenja u smislu količine objave sadržaja, kao i bilo kakve periodičnosti objave. Dok naslovnica portala donekle podsjeća na naslovnicu novina, količina objavljenih tekstova u pozadini može biti i po 10.000 tekstova u jednom danu, samo ako se može naći dobar i provjeren izvor tekstova i ako ne krši ničija autorska prava”, ističe Kovač.
Očito je, svi koji smo odrasli prije Facebooka teško možemo razmišljati na način kojeg diktiraju društvene mreže. Ono što bi nekad bila narcisoidnost i nepoželjna hvalisavost kroz Facebook može biti iznimna sposobnost kvalitetne samopromocije, čak vrhunski marketing.
“Kako je pojava interneta, alata za pretraživanje i serviranje sadržaja poput Googlea i društvenih mreža poput Facebooka utjecala na novinarstvo kao djelatnost i novinare kao profesionalce?” – jedno je od anketnih pitanja na koje je kolegica iz profesionalno slabo poželjne kategorije “pedeset plus” novinara, odgovorila: “Skratilo je vrijeme potrage za informacijama, omogućilo je kvalitetnije pretraživanje, proširilo izvore, no negativno, smanjilo potrebu za dodatnim razgovorima u kojima se dobivala šira slika i , usput, dolazilo do drugih tema”.
Njezin kolega iz iste dobne kategorije, zaposlen na webu, na isto pitanje odgovorio je: “S jedne strane (pojava interneta, tražilica, društvenih mreža…) je odmogla jer nestaje potreba za živim sugovornikom, a s druge pomaže jer olakšava rad u nedostatku sugovornika, vremena… Internet postaje arhiva umjesto fizičke arhive, itd.”
Njihova mlađa kolegica dijeli slično mišljenje: “Pojava interneta potpuno je ubrzala medije, omogućila brži pristup vijestima i informacijama, ali u velikoj mjeri i banalizirala novinarstvo, odnosno omogućila površnost, fake news, stvaranje kvazi javnog mnijenja na društvenim mrežama…”
Očito, svijest među novinarima o tome što je internet donio, a što uzeo novinarstvu itekako postoji.
Sljedeći se korak koji stoji pred medijskom industrijom gotovo sam nameće: ponovno pozicionirati novinarsku profesiju kao relevantnu, društveno važnu i nezamjenjivu, ovaj put u svijetu potpuno digitalizirane i demokratizirane informacije; izvući novinarstvo kao djelatnost iz mase bezličnih, neprovjerenih, nevjerodostjnijih i često lažnih vijesti i pri tome učiniti čudo – zatvoriti financijsku konstrukciju.
Osim ako se ne dogodi apokalipsa, modernih se tehnologija nećemo, a i ne trebamo riješiti u redakcijama.
“Moderne tehnologije olakšavaju život i uvode dodatnu kvalitetu pa ih se stoga ne treba bojati. Ništa nije crno-bijelo, odnosno s njima dolaze i neke neželjene pojave, ali pozitivni pomaci daleko su veći od tih negativnosti. Informatička pismenost i pogotovo inovativnost, spremnost na drukčiji način razmišljanja može jako pomoći u novinarskom radu”, savjet je Krešimira Kovača novinarima.
Pomogla bi i edukacija, ali među desetak anketiranih novinara samo su dvije kolegice potvrdile da su pohađale edukacije povezane s prilagodbom novinskog sadržaja internetu. “Ništa izvan upoznavanja s programima za unos teksta na web”, tipičan je odgovor. Ostali navode da ili nisu polazili nikakve edukacije ili tek nešto “sitno”.
“Jesu li internet i druge informacijske tehnologije odmogle ili pripomogle boljoj i kvalitetnijoj informiranosti čitatelja?” anketno je pitanje na koje su novinari također prilično unisono odgovorili: “Ovisi. Informacija je sve više, pa i previše, ali s količinom dostupnih informacija pada i njihova vjerodostojnost i kvaliteta”; “Pomogli su boljoj informiranosti čitatelja, no nisu nužno povećali kvalitetu informiranosti. Dijelom je to posljedica prirode novih, svima dostupnih izvora informiranja, ali i gubljenja novinarske kvalitete u utrci za čitateljima”; “Samo su donijele zbrku, informacije su dostupnije, ali ne postoji selekcija, izostaje šira slika, kontekst…”; “Internet je i pomogao i odmogao informiranosti čitatelja. Pomogla je brzina vijesti, pristupačnost, ali često ne i kvaliteta objavljenih informacija”…
Čitatelji i automatizacija informacija
Čitatelji se u pravilu ne zamaraju ovim pitanjem. Tako 51-godišnji čitatelj iz Zagreba srednje stručne spreme u anketi navodi da prati tisak, televiziju i internetske portale, ali ne kupuje novine. Pročita novine koje mu dođe pod ruku, plaća pretplatu HRT-u i kabelsku televiziju. Na pitanje kako bi ocijenio kvalitetu i vjerodostojnost dnevnih novina u Hrvatskoj, na ljestvici od 1 do 5, dnevni je tisak ipak ocijenio visokom četvorkom. Njegov je upitnik tipičan za stariju publiku.
Zagrebačka studentica (21) ne prati tisak, televiziju i portale, već samo društvene mreže, prije svih Twitter. Čita isključivo besplatne informacije i navodi da bi bila spremna platiti informacije samo ako bi našla medij koji je zanima.. “Teoretski me zanimaju mediji, ali čini mi se nerazumno ići na site pojedinih novina ako mi Twitter izdvaja tekstove koji me zanimaju. Klasični mediji imaju previše informacija koje me ne interesiraju”, njezin je odgovor na anketno pitanje “Jeste li spremni platiti za informacije za koje vjerujete da su točne, zanimljive i vjerodostojne?”. Kvalitetu i vjerodostojnost dnevnih novina nije ocijenila jer ih ne čita, informiranju ukupno posveti oko pola sata dnevno.
Njezin nešto stariji kolega, 26-godišnji sveučilišni prvostupnik iz Senja prati televiziju, internetske portale i društvene mreže. Rijetko kupuje dnevne novine u fizičkom obliku, ali ima pretplatu na online izdanje jednih novina. Dnevno na praćenje informativnih medija odvaja dva sata. Na ljestvici od 1 do 5 kvalitetu i vjerodostojnost dnevnih novina ocjenjuje trojkom. U usporedbi s društvenim mrežama i drugim medijima, informaciju u novinama smatra najboljom. Anketni upitnik ovog 26-godišnjaka nije posve tipičan za mlađe ispitanike jer ističe vrijednost klasičnog medija kakve su dnevne novine, ali istodobno prihvaća i sve aktualne tehnološke tekovine kad se riječ o informiranju.
Anketa među čitateljima pokazuje da se danas u pravilu konzumiraju informacije koje se (besplatno) nude. Anketa također pokazuje da čitatelji u pravilu ne razmišljaju o automatizaciji novinarstva i njezinim posljedicama. Uzimaju je zdravo za gotovo, osim kad je riječ o generacijama koje su odrasle davno prije pojave interneta. Žele li preživjeti, jasno je da će se novinari i izdavači morati prilagoditi ovom trendu.
Na anketno pitanje “Jeste li čuli za automatizirano novinarstvo? Što je po vašem mišljenju automatizirano novinarstvo?” čitatelji stariji od 50 odgovaraju “ne, nisam čuo/la”, a mlađi “to je kad računala pišu tekstove” ili “za taj termin nisam čuo, ali pretpostavljam da je to novinarstvo u kojem sudjeluje umjetna inteligencija”.
Novinari su nezamjenjivi
Bez obzira na dob, anketirani čitatelji smatraju da će algoritmi moći zamijeniti novinare samo u pisanju jednostavnijih vijesti i da bi trebali znati je li vijest napisao softver ili čovjek, a brinulo bi ih tko će odgovarati za posljedice pogrešne vijesti koju je napisao robot. “Za posljedice pogrešne vijesti trebali bi odgovarati vlasnik medija i proizvođač robota”, napisao je već spomenuti 26-godišnji sveučilišni prvostupnik.
O toj temi slično razmišljaju i anketirani novinari. Većinom su načuli za mogućnost da kompjutorski algorimi pišu jednostavne vijesti, ali smatraju da softver neće moći u potpunosti zamijeniti novinare. “Na početku lanca uvijek mora biti čovjek koji unosi podatke. A i poslije, u procesu proizvodnje, ima mjesta za ljude”, piše 56-godišnji novinar zaposlen na webu. “Ne smatram da kompjutorski programi mogu zamijeniti novinare. Promijenili su i mijenjaju naš način rada, ali mu srž ostaje ista”, piše 45-godišnja urednica na news portalu.
“Pedeset plus” novinarka odgovorila je na isto pitanje da će kompjutorski programi neke novinare moći zamijeniti, a neke ne, a njezina mlađa kolegica iz iste redakcije mišljenja je da su novinari nezamjenjivi. Jedan kolega ne vjeruje u mogućnost da softver zamijeni novinara u domaćoj medijskoj industriji uz sljedeće obrazloženje: “Pretpostavljam da je to preskupo. Izrabljivanje čovjeka puno je isplativije ili barem traži manja ulaganja”.
Pothranjuje li automatizacija novinarstva strah od gubitka već ionako često potplaćenih radnih mjesta? Anketirani novinari na pitanje “Hoće li automatizacija novinarstva izazvati gubitak radnih mjesta?” odgovaraju ovako: “Sasvim sigurno”; “I bez automatizacije novinarstvo je suočeno s gubitkom radnih mjesta, a automatizacija je samo korak dalje u tom smjeru”; “Sve trenutno vodi gubitku radnih mjesta pa bi to sigurno izazvalo i uvođenje automatiziranog novinarstva. Kad bi se neki vlasnik upustio u takvo ulaganje, ne mogu zamisliti kako bi to pridonijelo otvaranju novih radnih mjesta. Mediji jedva preživljavaju, ne šire se i povećavaju kvalitetu sadržaja”; “Automatizirano se mogu pisati opće jednostavne vijesti, analize, reportaže i prave priče mogu donijeti samo novinari”…
Izdavači, odnosno proizvođači medijskog sadržaja, ne dijele ovaj strah. Krešimir Kovač, direktor tvrtke Internet novinarstvo, eksplicitno odgovara: “Ne. Čovjek je bio i ostao nezamjenjiv u produkciji većine sadržaja.” Ni direktor izdavaštava Hanza medije Tomislav Wruss automatizaciju, pogotovo u užem smislu strojnog stvaranja sadržaja, ne smatra glavnim uzrokom potencijalnog gubljenja radnih mjesta u novinarstvu, već kao uzrok navodi tehnološki skok i kompleksan niz pratećih promjena koje su rastočile medijsku industriju kao institucionalnu djelatnost (o čemu je već bilo riječi).
Dr. sc. Marko Velić također tvrdi kako su ljudi nezamjenjivi u novinarstvu te da intencija razvoja modernih tehnologija nikako ne ide u u smjeru zamjene ljudi strojevima u ovom poslu već kao učinkovit alat koji ubrzava proces. Priprema i provjera podataka u smislu pomoći pri pisanju teksta i pravoj novinarskoj analizi mjesto je gdje tehnologija i pravi algoritmi mogu uvelike pomoći.
Bitka za autorska prava
Velika bitka za novinarstvo, odnosno za izdavačke kuće i autorska prava, upravo se intenzivirala na razini Europske unije. Prije više od godinu dana Europska komisija predložila je posebnu zaštitu za novinarske uratke objavljene na internetu. Prema tom prijedlogu, internetski divovi poput Googlea plaćali bi novinskim izdavačima naknadu za to što prenose poveznice (linkove) i sažetak vijesti objavljenih na web-portalima novina. Sporno je to što Google, Facebook i drugi koriste taj sadržaj, a ne plaćaju ga izdavačima.
Ovo je dosad možda najozbiljniji pokušaj da se visokoj razini zemalja članica Europske unije pokrene i barem dijelom riješi pitanje zaštite autorskih prava u bespućima interneta. U igri je velik novac i veliki igrači. Stavovi se, međutim, razlikuju: Njemačka i Francuska podržavaju uvođenje takvog prava za izdavače, Nizozemska i Mađarska snažno mu se protive, a Hrvatska, Slovenija, Poljska i Irska su skeptične. Hrvatska reakcija možda i nije neobična ako se pomisli na to da mnogim malim izdavačima, koji češće prenose tuđe nego stvaraju vlastite vijesti, vjerojatno odgovaraju neregulirana autorska prava.
Konsenzus o ovoj temi na posljednjem europskom sastanku Corepera (Odbor stalnih predstavnika) nije postignut. No, tema je otvorena, i teško da će ponovno zatvoriti. Zaštita autorskih prava novinara na internetu velika je i važna tema o kojoj ovisi budućnost novinarstva.
Što o njoj kažu hrvatski izdavači, što novinari i čitatelji?
Na pitanje ugrožava li automatizirano novinarstvo autorska prava novinara, Krešimir Kovač iz Internet novinarstva odgovora da je “internet prepun kršenja autorskih prava, pa tako i novinarskih, a glavni i najčešći oblici koje smo susretali, a koji su bili vrsta automatiziranog novinarstva su:
1. Klasična krađa, ali bez čovjeka za računalom, odnosno automatizirani masovni copy-paste tuđih tekstova. Model, koji je sve rjeđi jer je lako primijetiti takvu aktivnost.
2. Inteligentniji ‘usisivači’ sadržaja koji na različite automatizirane načine prikupljaju, sortiraju i modificiraju sadržaj te ga koriste za velike baze podataka koji su temelj različitih fiktivnih, uglavnom life style portala.”
Kovač ističe da automatizirano novinarstvo nije donijelo veće probleme u smislu autorskih prava jer tehnologija nije toliko jaka da kvalitetno zamijeni čovjeka. Više su problem “pravi” ljudi koji bez dozvole koriste tuđe tekstove, slike, itd.
Tomislaw Wruss iz Hanza medije smatra da se izdavačke kuće ne mogu nositi s problemom autorskih prava novinara ugroženih zbog pojave interneta, Googlea, društvenih mreža… “Posljedicama rastakanja novinskog izdavaštva kao institucionalne djelatnosti počela se baviti Europska unija, uz suradnju vlada, zainteresiranih društvenih skupina, izdavača itd., izdavači sami naravno ne”, njegov je komentar. Pitanje ugrožava li automatizirano pisanje vijesti autorska prava novinara, ne smatra aktualnim.
Problem autorskih prava osjećaju različite društvene skupine. Dvadesetjednogodišnja studentica iz Zagreba smatra da bi se autorska prava novinara trebala zaštititi i da bi se to moglo učiniti “dijeljenjem linkova na izvorne tekstove”. Nekoliko godina stariji student pokušaje zaštite autorskih prava na internetu također plasira na visoku razinu: “Trebalo bi zaštititi autorsko pravo novinara kad je potpisan imenom i prezimenom. Kad nije potpisan, onda je to vlasništvo izdavača. Zaštitu bi trebala napraviti Europska unija jer ona ima takvu političku moć.” Stariji čitatelji mišljenja su da se ništa ne može riješiti bez zakona.
Novinari međutim ne izuzimaju izdavače, pa ni same sebe od obaveze da se zauzmu za zaštitu autorskih prava.
“Izdavači ne čine dovoljno na zaštiti autorskih prava novinara, a upravo bi oni trebali. Uz same novinare jer ako se nećeš sam izboriti teško će netko drugi”, smatra 38-godišnja politička novinarka. “Zaštita autorskih prava ponajprije je zadaća izdavača, no imam dojam da u tom području nedostaje novinarske inicijative. Dijelom to govori o stanju u novinarstvu, zbog kojeg se ta pitanja mogu činiti manje važnima od mnogih problema s kojima se novinari susreću u svom radu, a dijelom i o stanju u cehovskim udrugama”, piše urednica na news portalu. “Izdavači štite sebe, a ne novinare”, piše ekonomska novinarka. Novinar na web portalu dnevnih novina misli pak da zaštita autorskih prava novinara uopće nije ključno pitanje. “Položaj medija u društvu i novinara u medijima veći je problem”.
Očito je to razlog zbog kojeg anketirani novinari uglavnom smatraju da položaj novinarstva kao djelatnosti treba postati tema široke javne rasprave. “Položaj novinarstva trebao je postati tema javne rasprave već odavno. Mantra da je novinarstvo održivo na tržištu koštala nas je radnih mjesta, kvalitete i budućnosti zvanja”; “Novinarstvo je djelatnost od javnog interesa i trebalo bi imati financijsku podršku države”; “ Plaće novinara i druga materijalna i statusna prava sve se više srozavaju, a upravo su mediji svijest društva. Tako da novinarstvo svakako treba zaštititi, posebno je oslabljeno od krize 2008. godine otkad se mediji sve više spajaju na javne izvore financiranja – gradove, županije – što doprinosi cenzuri” – neki su od odgovora.
O tome da je upravo pojava interneta i komunikacijskih platformi ugrozila autorska prava novinara nema spora, ali ni ovo pitanje nije jednostavno.
“Na bespućima interneta vrlo se brzo izgubi tko je autor informacije koji svi prenose i ona postaje opće dobro. S druge strane, doseg informacija daleko je veći od pojave interneta. Nemam pojma odražava li se gubljenje autorskih plaća na plaći i statusu jer se ni dosad autorska prava nisu izdašno honorirala”, piše politička novinarka. “Jednom objavljen tekst, neovisno o platformi, uvijek je postajao javno dobro i time su se koristili svi”, piše 53-godišnja novinarka koja se sjeća “predinternetskih vremena” i koja je na početku novinske karijere pisala je na pisaćoj mašini.
“Autorska prava novinara apsolutno su ugroženija nego prije pojave novih komunikacijskih platformi. Poštovanje dijela tih prava nerijetko je svedeno na poluformalne dogovore na razini medijskih kuća o načinu prenošenja konkurentskog sadržaja. Ne bih rekla da se to izravno odražava na status i plaću”, mišljenja je politička urednica. “Autorska prava nisu ugrožena samo pojavom interneta. S druge strane, autorska prava se možda bolje štite u elektronskim medijima jer je autorstvo vidljivije širem krugu ljudi. Cijena rada i status strmoglavljuju se već godinama i to nije vezano samo uz pojavu interneta”, stajalište je web novinara s dugotrajnim honorarnim statusom.
Zaključak
Očito je da je golemi tehnološki skok koji uključuje i automatizaciju novinarstva toliko promijenio svijet informacija i općenito informiranja da je praktički nemoguće riješiti pitanje autorskih prava novinara bilo na nacionalnoj razini, bilo u domeni samo jedne od zainteresiranih strana. Kao i obično kad tehnologija naglo uznapreduje u nekom području, regulacija i zakonodavstvo (a u ovom slučaju i financiranje) kaskaju, što je ostavilo dramatične posljedice u novinarskoj branši.
Ako je zaključivati po razvoju tehnologije u najnaprednijim svjetskim redakcijama, ono što se može automatizirati bit će automatizirano. Izdavači koji zapošljavaju na jednostavnim zadatacima kao što su utvrđivanje ili provjera činjenica (tipično za američke redakcije) vjerojatno će na tim ograničenim poslovima ljude zamijeniti nekim sustavom koji može biti brži (i s vremenom) jeftiniji. Većina drugih poslova u velikim će redakcijama biti samo potpomognuta raznim informatičkim mogućnostima za prikupljanje i upravljanje podacima.
Hoće li redakcije od 2025. voditi uglavnom inteligentni strojevi ili će ih dalje činiti ljudski reporteri potpomognuti računalima, tek će se vidjeti. Za sada je jasno da AI u svjetskim redakcijama ima svoje mjesto jer štedi vrijeme i novac te povećava brzinu i učinkovitost čime pomaže novinarima da održe korak sa sve višom razinom globalnih medija.
U Hrvatskoj? Robotsko pisanje vijesti za sada nam je još uvijek najmanja briga.
Tanja Ivančić Belošević i Nataša Vlašić Smrekar