OPĆE ODREDBE

Djelokrug Zakona

Članak 1.

Ovim se Pravilnikom uređuju načela vrednovanja, ciljevi i koristi vrednovanja, vrste vrednovanja te postupak i metodologija vrednovanja politike regionalnoga razvoja.

Temeljni pojmovi

Članak 2.

Pojedini pojmovi u smislu ovog Pravilnika imaju sljedeće značenje:

1) djelotvornost ( efektivnost ) - se određuje kao postizanje ciljeva. Ciljevi se mogu kvantitativno izraziti u smislu očekivanih rezultata. Djelotvornost se ocjenjuje usporedbom dobivenog i planiranog

2) intervencija - svaka radnja ili djelovanje kojim donositelji javnih politika žele utjecati na željenu promjenu. Intervencije uključuju javne politike, programe, mjere, projekte, aktivnosti i dr. Pojam se sustavno koristi za označavanje predmeta vrednovanja

3) opis poslova za provedbu vrednovanja - definira posao i raspored koji provode izvršitelji vrednovanja ( evaluacijski tim ). Određuje opseg vrednovanja, navodi glavne motive i pitanja

4) planski dokumenti – planski dokumenti politike regionalnog razvoja utvrđeni su u Zakonu i uključuju Strategiju regionalnog razvoja RH, županijsku razvojnu strategiju i strategiju razvoja urbanog područja te na njima utemeljene programe

5) pokazatelj ( indikator ) - s vojstvo ili atribut kojim se može mjeriti intervencija u smislu njenih neposrednih rezultata ( output ) ili rezultata

6) prethodno vrednovanje - o dvija se tijekom izrade planskog dokumenta, prije nego što je isti usvojen. Pomaže kako bi se osiguralo da je planski dokument u što većoj mjeri primjeren svojoj svrsi ( relevantan ) i usklađen ( koherentan ), a zaključci ove vrste vrednovanja integriraju se u planski dokument prije njegovog donošenja

7) učinak ( efekt ) intervencije - je razlika između promatranog ishoda nakon završetka intervencije i ishoda koji bi se promatrao da nije bilo intervencije

8) učinkovitost ( efikasnost ) – je ostvarivanje rezultata uz minimalni trošak ili maksimiziranje rezultata za određenu razinu resursa

9) upravljačka skupina za provedbu vrednovanja - skupina upravlja postupkom vrednovanja. Daje podršku i pruža povratnu informaciju izvršiteljima vrednovanja ( evaluacijskom timu ), sudjeluje u raspravama tijekom vrednovanja i u mogućnosti je pravovremeno koristiti odnosno primijeniti rezultate vrednovanja

10) utjecaj ( impact ) intervencije - promjena koja se može vjerodostojno pripisati intervenciji, kao što je to slučaj s učinkom intervencije ili doprinosom promjeni

11) važnost ( relevantnost ) - p rimjerenost ciljeva intervencije s obzirom na društveno-ekonomske probleme koje intervencija treba riješiti

12) vrednovanje nakon provedbe – odvija se n akon završetka provedbe planskog dokumenta te sažeto ponavlja ( rekapitulira ) i ocjenjuje cjelokupni planski dokument, u prvom redu njegov utjecaj/učinak tj. njegovu djelotvornost ( efektivnost ) i učinkovitost ( efikasnost )

13) vrednovanje tijekom provedbe – odvija se kroz razdoblje provedbe planskog dokumenta. Ovo vrednovanje prati ostvarivanje planiranih rezultata i učinaka. Prednost vrednovanja tijekom provedbe je što omogućava suradnju izvršitelja vrednovanja ( evaluacijskog tima ) i nositelja planskog dokumenta, što omogućuje bolje usvajanje zaključaka i preporuka te po potrebi dopunu i/ili izmjenu planskog dokumenta

14) vrednovanje - n eprekidno prikupljanje, analiza i upotreba informacija o napretku u izradi odnosno provedbi planskog dokumenta te postignutim rezultatima. Prvenstveno podupire djelotvorno i pravovremeno upravljanje, donošenje odluka, edukaciju dionika i odgovornost za korištenje resursa i ostvarivanje rezultata.   

Načela vrednovanja

Članak 3.

Osnovna načela vrednovanja su:

Transparentnost – podrazumijeva da je informacije/nalaze/preporuke dobivene postupkom vrednovanja potrebno podijeliti s dionicima kojih se očekivani rezultati planskog dokumenta neposredno tiču, kao i sa skupinama koje na osnovu rezultata postupka vrednovanja mogu naučiti nešto novo.

Jasna metodologija - vrednovanje treba slijediti jasnu metodologiju, oblikovanu na način koji omogućava prikupljanje svih relevantnih podataka za vrednovanje uspješnosti planskog dokumenta. Nužno je odrediti metode i način rada koji će se koristiti kako bi se odgovorilo na glavna pitanja u postupku vrednovanja. Najčešće se koristi kombinacija kvantitativnih i kvalitativnih metoda.

Planiranje vrednovanja - podrazumijeva da se svako vrednovanje planira, uz obavezu izrade opisa poslova za provedbu vrednovanja, kako bi se definirala svrha i djelokrug vrednovanja, opisale metode koje će se koristiti, utvrdili resursi, potrebno vrijeme za provedbu vrednovanja i sl.

Nepristranost i neovisnost - nepristranost pridonosi kredibilitetu vrednovanja a neovisnost pruža legitimitet donositeljima odluka i ograničava mogući sukob interesa u okolnostima kada bi donositelji odluka i nositelji planskih dokumenata bili jedini odgovorni za vrednovanje vlastitih aktivnosti. Ovaj se zahtjev odnosi na sve faze procesa vrednovanja, od planiranja vrednovanja, izrade opisa posla za provedbu vrednovanja do odabira izvršitelja vrednovanja ( evaluacijskog tima ).

Vidljivost i širenje rezultata - vidljivost je obilježje kojim se osigurava da javna politika u svoje mjere uključi aktivnosti informiranja i sustavno širenje rezultata koje je neophodno radi unapređenja planiranja i provedbe aktivnosti. Završni izvještaj o vrednovanju treba biti javno dostupan.

Vrednovanje i njegov značaj za politiku regionalnoga razvoja

Članak 4.

(1) Vrednovanje politike regionalnoga razvoja se provodi kroz vrednovanje planskih dokumenata politike regionalnog razvoja utvrđenih u članku 11. Zakona te na njima utemeljenim programima (u nastavku teksta: planski dokumenti) .

(2) Kroz proces vrednovanja utvrđuje se da li su postignuti zadani ciljevi (opći ili specifični) utvrđeni u planskom dokumentu te u kojoj mjeri su aktivnosti koje su prethodile ostvarenju cilja, doprinijele realizaciji samog cilja. Naglašena je usredotočenost na ostvarenje općeg cilja te na dugoročne rezultate i utjecaje utvrđene u planskim dokumentima.

Ciljevi i koristi vrednovanja

Članak 5.

(1) Ciljevi vrednovanja su:

- pružanje pravovremenih i relevantnih osnova donositeljima odluka prilikom određivanja prioriteta politike regionalnoga razvoja, donošenja odluka na razini strateškog planiranja i donošenja planskih dokumenata te prilikom utvrđivanja novih intervencija

- kontinuirano unapređivanje javne politike korištenjem rezultata vrednovanja

- osiguranje transparentnosti i odgovornosti za korištenje javnih sredstava

- učinkovita ( efikasna ) raspodjela sredstva između intervencija pa i između pojedinih stavki iste intervencije temeljem procjene njihovih budućih učinaka kao i temeljem prethodnog iskustva u provedbi istih ili sličnih aktivnosti.  

(2) Koristi vrednovanja dolaze do izražaja:

- prilikom izrade i osiguravanja relevantnosti planskih dokumenata u odnosu na potrebe koje bi planskim dokumentom trebalo nasloviti

- prilikom odabira intervencija te njihove moguće prilagodbe tijekom provedbe

- prilikom upravljanja provedbom planskog dokumenta

- prilikom utvrđivanja kvalitetnih, mjerljivih i realnih pokazatelja rezultata što omogućava i olakšava sustav praćenja ostvarenja ciljeva i analizu učinaka

- prilikom utvrđivanja nenamjernih pozitivnih i negativnih posljedica provedbe planskih dokumenta  

- u povezivanju politike, programa, prioriteta, mjera i projekata.  

Vrste vrednovanja

Članak 6.

U skladu s člankom 48. Zakona planski dokumenti podliježu postupku vrednovanja te se razlikuju sljedeće vrste vrednovanja:

- prethodno vrednovanje

- vrednovanje tijekom provedbe

- vrednovanje nakon provedbe.   

Prethodno vrednovanje

Članak 7.

(1) Prethodno vrednovanje se provodi tijekom izrade planskog dokumenta.

(2) Prethodno vrednovanje pomaže kako bi se osiguralo da je planski dokument u što većoj mjeri relevantan i koherentan a zaključci ovog vrednovanja integriraju se u planski dokument tijekom izrade.

(3) Prethodno vrednovanje je usmjereno prvenstveno na analizu snaga, slabosti i razvojnog potencijala te pruža relevantnim dionicima prethodnu prosudbu o tome jesu li razvojna pitanja ispravno utvrđena, jesu li predložena strategija i ciljevi relevantni, je li razvidna koherentnost u odnosu na nadređene politike i smjernice, da li su očekivani učinci realni i sl.

(4) Prethodno vrednovanje pruža potrebnu osnovu za praćenje i buduće vrednovanje, na način da osigurava oblikovanje jasnih i mjerljivih ciljeva te pokazatelja za praćenje ostvarenja ciljeva.

Vrednovanje tijekom provedbe

Članak 8.

(1) Vrednovanje tijekom provedbe provodi se tijekom provedbe planskog dokumenta.

(2) Vrednovanje tijekom provedbe je izuzetno prilagodljivo te nositelji provedbe planskog dokumenta mogu samostalno odlučivati što će se vrednovati i kada. Vrednovanje na taj način postaje upravljački alat kojim se pomaže izvedba planskih dokumenata.

(3) Vrednovanje tijekom provedbe pomaže donositeljima odluka da tijekom provedbe utvrde što funkcionira u provedbi planskog dokumenta, a što ne, i slijedom toga poduzmu potrebne korake ukoliko su potrebne njegove izmjene.

Vrednovanje nakon provedbe

Članak 9.

(1)Vrednovanje nakon provedbe se provodi po završetku provedbe planskog dokumenta.

(2)Vrednovanje nakon provedbe sažeto ponavlja ( rekapitulira ) i ocjenjuje cjelokupni utjecaj/učinak planskog dokumenta odnosno njegovu djelotvornost i učinkovitost.

II. POSTUPAK VREDNOVANJA

Pokretanje i nadležnosti za provedbu postupka

Članak 10.

(1) Postupak vrednovanja pokreće nositelj izrade odnosno provedbe planskog dokumenta donošenjem odluke o započinjanju postupka vrednovanja, u skladu s planom vrednovanja .

(2) Ministar, odnosno čelnik središnjeg tijela koje je nadležno za izradu odnosno provedbu planskog dokumenta koji se donosi na državnoj razini, donosi odluku o započinjanju postupka vrednovanja planskog dokumenta.

(3) Župan, odnosno gradonačelnik Grada Zagreba donosi odluku o započinjanju postupka vrednovanja planskog dokumenta koji se donosi na područnoj (regionalnoj) razini, odnosno za područje Grada Zagreba.

(4) Gradonačelnik grada koji je nositelj izrade planskog dokumenta iz članka 15. Zakona donosi odluku o započinjanju postupka vrednovanja planskog dokumenta koji se donosi na razini urbanog područja.

(5) Odlukom o započinjanju postupka vrednovanja određuje se naziv planskog dokumenta koji se vrednuje, vrstu vrednovanja koje će se provesti  e tijek postupka vrednovanja u skladu s ovim Pravilnikom.

Članak 11.

(1) Postupak vrednovanja se provodi u skladu s planom vrednovanja i metodologijom propisanom ovim Pravilnikom.

(2) V rednovanje se može provoditi vlastitim kapacitetima nositelja izrade odnosno provedbe planskog dokumenta ili angažiranjem vanjskih izvršitelja vrednovanja ( evaluatora ).

(3) U slučaju da nositelj izrade odnosno provedbe planskog dokumenta vrednovanje provodi vlastitim kapacitetima, poslovi izrade planskih dokumenata moraju biti od jasno razdvojeni od poslova provođenja vrednovanja istih, na način da budu organizacijski odvojeni te da se može jasno razgraničiti djelokrug poslova svake organizacijske jedinice.  

(4) Prije početka postupka vrednovanja potrebno je izraditi opis poslova za provedbu vrednovanja te formirati upravljačku skupinu za provedbu vrednovanja.

Plan vrednovanja

Članak 12.

(1) Plan vrednovanja izrađuje nositelj izrade planskog dokumenta u početnoj fazi izrade planskog dokumenta i sadrži indikativni plan svih vrednovanja planskog dokumenta.

(2) Plan vrednovanja odobrava ovlaštena osoba iz članka 9. ovog Pravilnika.

(3) Svrha izrade plana vrednovanja je unaprijediti kvalitetu (onih) vrednovanja planskog dokumenta koja će se realizirati tijekom programskog razdoblja.

(4) Plan vrednovanja treba minimalno sadržavati indikativan popis vrednovanja koja će se provesti, njihov sadržaj i svrhovitost, vremenski raspored vrednovanja, metode koje će se koristiti za pojedina vrednovanja i podatke koji će se tražiti, dostupnost odnosno način prikupljanja podataka potrebnih za određena, te okvirni proračun za provedbu plana vrednovanja.

Opis poslova za provedbu vrednovanja

Članak 13.

(1) Opis poslova za provedbu vrednovanja definira svrhu i djelokrug vrednovanja, opisuje  metode koje će se koristiti tijekom vrednovanja, utvrđuje resurse te potrebno vrijeme za provedbu vrednovanja.

(2)U Opisu poslova navodi se točan sadržaj aktivnosti koje će se vrednovati, informacije koje su dostupne i bit će na raspolaganju izvršitelju vrednovanja, pitanja na koje postupak vrednovanja mora odgovoriti te korake i rokove kojih se u procesu vrednovanja izvršitelji vrednovanja trebaju pridržavati.  

Formiranje Upravljačke skupine

Članak 14.

(1) Upravljačka skupina je tijelo koje se sastoji od najmanje tri člana koja rade u istim ili srodnim područjima koja su predmet vrednovanja, a sastaju se kako bi raspravljali o svim aspektima vrednovanja, od same pripreme vrednovanja do završnog izvještaja o provedenom vrednovanju.  

(2) Upravljačku skupinu imenuje čelnik tijela koji je nositelj izrade odnosno provedbe planskog dokumenta nakon donošenja odluke o započinjanju postupka vrednovanja .

(3) Najvažniji zadaci upravljačke skupine su: usmjeravanje aktivnosti vrednovanja, nadziranje svih ključnih koraka tijekom cijelog procesa kako bi se osigurala uspješna realizacija vrednovanja, osiguravanje usklađenosti politike, pružanje stručnog doprinosa tijekom vrednovanja, omogućavanje dostupnosti potrebnih informacija, jamčenje nepristranosti i korisnosti vrednovanja, pružanje stalne kontrole kvalitete, poticanje i udruživanje znanja.

Izvještavanje o vrednovanju  

Članak 15.

(1)Nositelj izrade odnosno provedbe planskog dokumenta dužan je objaviti završni izvještaj o provedenom vrednovanju putem svojih Internet stranica.

(2)Završni izvještaj o vrednovanju sadrži poglavlja kako je određeno u Prilogu I. ovog Pravilnika.

III. METODOLOGIJA VREDNOVANJA

Ključni standardi vrednovanja

Članak 16.

(1) Postupak vrednovanja treba se temeljiti na jasno definiranim standardima.

(2)Struktura koja predstavlja okosnicu standarda vrednovanja je sljedeća:

- Aktivnosti vrednovanja treba organizirati na način da ispunjavaju svoju svrhu - treba jasno definirati tko je odgovoran za upravljanje aktivnostima vrednovanja, proporcionalno rasporediti ljudske i financijske resurse te odrediti procedure za dionike uključene u provedbu kao i širenje i korištenje rezultata vrednovanja

- Aktivnosti vrednovanja treba planirati na transparentan način kako bi rezultati vrednovanja bili dostupni na vrijeme – treba pripremiti program vrednovanja u konzultaciji s relevantnim dionicima, periodično vrednovati sve aktivnosti u skladu s dodijeljenim sredstvima i očekivanim učinkom a trajanje postupka vrednovanja treba omogućiti da se rezultati vrednovanja pravovremeno integriraju u odluke vezane za formiranje i izmjenu aktivnosti

- Definiranje vrednovanja treba osigurati ciljeve, te primjerene metode i sredstva za upravljanje procesom vrednovanja i dobivenim rezultatima - treba formirati upravljačku skupinu za svako vrednovanje koja bi davala savjete vezane za opis posla, pružala potporu prilikom realizacije vrednovanja te sudjelovala u ocjenjivanju kvalitete vrednovanja

- Aktivnosti vrednovanja moraju omogućiti pouzdane i jasne rezultate - rezultati se trebaju potkrijepiti čvrstim dokazima i detaljnom analizom, osobe koje sudjeluju u aktivnostima vrednovanja moraju se pridržavati pravila i načela vezanih za sukob interesa, izvršitelji vrednovanja moraju imati slobodu da dobivene rezultate prezentiraju samostalno bez ikakvih nagodbi ili ometanja.   

Kriteriji vrednovanja

Članak 17.   

(1)Kriteriji vrednovanja su osnova za formuliranje evaluacijskih pitanja Svrha kriterija je pružiti nositelju izrade odnosno provedbe planskog dokumenta  osnovne informacije i saznanja koje mu omogućavaju razumijevanje stanja i utvrđivanje sljedećih koraka. Kriteriji vrednovanja su međuovisni i nisu međusobni isključivi.

(2)U okviru pojedinih vrsta vrednovanja iz članka 6. ovog Pravilnika koriste se u pravilu isti kriteriji vrednovanja, ali se evaluacijska pitanja prilagođavaju vrsti vrednovanja.

(3)Obavezni kriteriji koji su osnova za oblikovanje pitanja za sve vrste vrednovanje su:

- važnost ( relevantnost ) - provjerava se da li su ciljevi i prioriteti planskog dokumenta utemeljeni na stvarnim potrebama i razvojnim potencijalima odnosno do koje mjere su ciljevi programa opravdani u odnosu na potrebe

- djelotvornost ( efektivnost ) – uspoređuje se što je ostvareno u odnosu na planirano odnosno do koje mjere su ciljevi ostvareni te do koje mjere se očekuje da će se ostvariti (ovisno o vrsti vrednovanja)

- usklađenost ( koherentnost ) – uključuje unutarnju i vanjsku usklađenost planskog dokumenta, odnosno logiku strategije; utvrđuje se jesu li odabrani prioriteti i mjere komplementarni i povezani; je li planski dokument u skladu s relevantnim nacionalnim odnosno regionalnim strategijama/dokumentima (ovisno o planskom dokumentu). Vanjska usklađenost podrazumijeva usklađenost između ciljeva planskog dokumenata s ciljevima drugih javnih intervencija koje su s njim povezane. Unutarnja usklađenost podrazumijeva usklađenost između ciljeva planskog dokumenta. Unutarnja povezanost implicira da postoji hijerarhija ciljeva, s time da hijerarhijski niži ciljevi logično doprinose ostvarenju ciljeva koji se nalaze na vrhu.

(4)Pored obveznih, moguće je koristiti dodatne kriterije vrednovanja:

- učinkovitost ( efikasnost ) – podrazumijeva postizanje željenog rezultata s minimalnim troškovima, odnosno maksimiziranje rezultat za danu razinu resursa

- dosljednost (konzistentnost) – dosljednost i jasnoća ciljeva i prioriteta u odnosu na viziju politike

- komplementarnost – mjera u kojoj intervencija podržava druge javne politike  

- održivost – ocjenjuje mjeru u kojoj je izgledno da će učinci intervencije trajati nakon što ona završi, odnosno razmatra se da li su rezultati, uključujući institucionalne promjene, trajni te može li se pretpostaviti da će biti trajni

- jednakost – do koje mjere su ravnopravno raspoređeni učinci u odnosu na različite dionike, regije, rodnu pripadnost i sl.

- prihvatljivost – pozitivna ili negativna percepcija od strane dionika i javnosti naspram intervencija.

(5)Kriteriji vrednovanja koji se koriste ovise o tipu intervencije i vremenu kada se vrednovanje provodi te kriteriji koji su navedeni u stavku 3. ovog članka nisu isključivi.

Metode i alati za vrednovanje

Članak 18.

(1)U postupku vrednovanja koriste se razne istraživačke metode i alati.

(2)Izvršitelji vrednovanja ( evaluatori ) predlažu kombinaciju metoda i alata pomoću kojih će nasloviti različite komponente vrednovanja te odgovoriti na ključna evaluacijska pitanja.

(3)Odabir metoda i alata ovisi o vrsti intervencije te vrsti vrednovanja.

(4)Vrednovanje u jednakoj mjeri uključuje i kvantitativne i kvalitativne podatke, kako postojeće, tako i one koje će izvršitelji vrednovanja prikupiti tijekom provedbe vrednovanja.

(5)Metode koje se koriste u postupku vrednovanja prilikom ocjene pojedine aktivnosti planskog dokumenta tijekom njegove izrade odnosno provedbe treba koristiti i tijekom realizacije postupka vrednovanja nakon provedbe planskog dokumenta.

IV. PRIJELAZNE I ZAVRŠNE ODREDBE

Sastavni dijelovi ovog Pravilnika

Članak 19.

Prilog I. čini sastavni dio ovog Pravilnika.

Stupanje na snagu

Članak 20.

Ovaj Pravilnik stupa na snagu osmoga dana od dana objave u »Narodnim novinama«.

PRILOG I.   

SADRŽAJ ZAVRŠNOG IZVJEŠTAJA O VREDNOVANJU PLANSKOG DOKUMENTA

Završni izvještaj o vrednovanju planskog dokumenta sadrži osobito:

1. Kratki sažetak

- Najvažniji rezultati vrednovanja

- Zaključci i preporuke

2. Uvod

- Svrha izvještaja

- Struktura izvještaja

3. Kontekst vrednovanja

- Kratka informacija o planskom dokumentu: vezane nacionalne politike, društvene i gospodarske potrebe na koje se odnosi planski dokument, utvrđivanje korisnika ili drugih ciljnih skupina

- Opis postupka vrednovanja: kratki pregled opisa posla, svrha i djelokrug vrednovanja

- Kratki prikaz ranijih vrednovanja koja se odnose na planski dokument (ako je primjenjivo)

4. Metodološki pristup

-Objašnjenje plana izvedbe vrednovanja i korištenih metoda-Opis ključnih pojmova, specifičnih i uobičajenih evaluacijskih pitanja, kriteriji ocjenjivanja,  ciljane razine

-Izvori podataka, tehnika prikupljanja podataka (upitnici, intervjui, veličina i odabir kriterija za uzorke...); informacije o načinu izračuna pokazatelja kako bi se ocijenila kvaliteta i  pouzdanost podataka te prepoznale moguće pristranosti

-Tehnike za odgovaranje na evaluacijska pitanja i donošenje zaključaka

-Problemi ili ograničenja metodološkog pristupa.

5. Opis planskog dokumenta, mjera i proračuna

-Provedba planskog dokumenta: uključeni sudionici, institucionalni kontekst

-Oblikovanje planskog dokumenta, opis prioriteta i mjera

-Intervencijska logika planskog dokumenta i njegovih ključnih sastavnica  

- Predviđeni proračun planskog dokumenta  

-Prihodi i proračun planskog dokumenta koji je stvarno potrošen (ako je primjenjivo)

6. Odgovori na evaluacijska pitanja

-Analiza i rasprava o pokazatelju/ima s obzirom na kriterije ocjenjivanja i ciljne razine na koje se odnose evaluacijska pitanja

-Analiza i rasprava o kvantitativnim i kvalitativnim podacima iz javnih statistika, određenih istraživanja/upitnika ili drugih izvora.

-Odgovori na evaluacijska pitanja

7. Zaključci i preporuke

- Usklađenost (koherentnost) između planiranih odnosno korištenih intervencija i zacrtanih ciljeva; ravnoteža između različitih mjera unutar planskog dokumenta

-Stupanj ostvarivosti odnosno stupanj ostvarivanja (ovisno o vrsti vrednovanja) specifičnih ciljeva planskog dokumenta te ako je primjenjivo i ciljeva postavljenih u povezanim odnosno hijerarhijski višim planskim dokumentima kojima bi trebala pridonijeti provedba vrednovanog planskog dokumenta

-Preporuke koje se temelje na nalazima vrednovanja, uključujući moguće prijedloge za usvajanje odnosno izmjene planskog dokumenta (ako je primjenjivo).