Poniżej znajduje się przebieg wykonanego eksperymentu, którego celem było przedstawienie przykładu praktycznego zastosowania powstałej aplikacji OLSA System. Otrzymane wyniki zostały poddane analizie i odpowiednio zinterpretowane.

Dane wejściowe przeznaczone do analizy satysfakcji klienta

Pewien włoski magazyn „Anna” przeprowadził wśród swoich czytelników ankietę dotyczącą oceny jego tematycznej zawartości. Respondenci mieli za zadanie ocenić je w skali od 1 do 5 (kierunek preferencji to zysk) pod względem różnych tematów poruszanych na łamach pisma odpowiadających kryteriom w problemie (Tabela). Na końcu wyrażali ogólną opinię na temat jego zawartości.

Zadaniem ankiety było zapoznanie się z rzeczywistym zadowoleniem czytelników czasopisma i zdobycie danych, które byłyby pomocne w określeniu działań mających na celu zwiększenie satysfakcji klientów i zdobycie nowych.

Tabela: Kryteria oceny magazynu "Anna"

Kryterium

Oznaczenie

Kryterium

Oznaczenie

Bieżące Wydarzenia

B1

Telewizja

B14

Społeczeństwo

B2

Listy do Gazety

B15

Moda

B3

Odpowiedzi Ekspertów

B16

Sprzęt

B4

Małżeństwo

B17

Uroda

B5

Seks

B18

Kuchnia

B6

Uczucia i Emocje

B19

Zdrowie

B7

Psychologia i Testy

B20

Meble

B8

Praca

B21

Podróże

B9

Ekonomia

B22

Osobistości

B10

Internet

B23

Sztuka i Kultura

B11

Dzieci

B24

Kino

B12

Domowe Zwierzęta

B25

Muzyka

B13

Kwiaty i Rośliny

B26

 

 

Ogólna ocena magazynu

C

Plik ISF z wynikami ankiety znajduje się w 'Docs' (łącznie zawiera 23 przykłady opisane 27 kryteriami).

Przebieg eksperymentu

Przeprowadzany eksperyment zakłada, że dane wejściowe w postaci wyników ankiety zostały już wczytane do bazy danych przez system GoalProject, a następnie wygenerowano dla nich reguły decyzyjne. Pracę z systemem OLSA można więc rozpocząć od połączenia z bazą danych, gdzie znajduje się problem, podając odpowiednie opcje połączenia  [File->Database...] (Rys. 1):

Rys.1 Moduł komunikacji z bazą danych

Kolejnym krokiem po udanym połączeniu z bazą danych jest oczywiście wczytanie pliku z danymi do analizy [File->Open file…] (Rys. 2) – w tym przypadku będą to wyniki ankiety magazynu „Anna”. Ponieważ w bazie znajdują się wygenerowane reguły dla tego pliku to zostaną one automatycznie wgrane do aplikacji.

Rys.2 Moduł do wczytywania danych wejściowych

W tym momencie można rozpocząć analizę danych, co zostało przedstawione poniżej w postaci kolejnych etapów pracy z systemem OLSA. Dostęp do odpowiednich opcji możliwy jest z paska menu, paska narzędziowego, szczegółowego drzewa projektu oraz przy pomocy skrótów klawiszowych (Rys. 3).

Rys.3 Aplikacja OLSA System 1.0

Etap 1 – prezentacja danych marketingowych do analizy

Danymi marketingowymi dla magazyny „Anna” są odpowiedzi respondentów na ankietę dotyczącą jego zawartości. Właścicielom magazynu zależy na wzroście liczby czytelników oceniających ogólną zawartość czasopisma najwyżej, tzn. na 5. Naszym celem jest znalezienie takich strategii interwencji, których zastosowanie pozwoli na osiągnięcie zamierzonych celów – wykorzystamy do tego system OLSA. Można się spodziewać, że na początku będzie to najłatwiejsze i najmniej kosztowne u czytelników, którzy obecnie oceniają go na 4. Aby przekonać się ilu ich jest, przefiltrujmy zbiór danych właśnie do takich przykładów. Taką filtrację dokonuje się w bardzo prosty sposób wydając odpowiednie zapytanie do bazy danych wyciągające z niej interesujące użytkownika przykłady [opcja Edit SQL Query] (Rys. 4):

Rys.4 Wybór z klasy c=4

Okazuje się, że ze wszystkich 23 ankietowanych czytelników ośmiu jest takich, którzy oceniają ogólną zawartość magazynu na 4 (Rys. 5).

Rys.5 Prezentacja przykładów dla klasy c=4

Aplikacja OLSA System daje użytkownikowi ogromne możliwości, jeśli chodzi o prezentacje problemu i jego własności. Przykłady dodatkowo można obrazować w postaci dwóch wykresów oraz technologii OLAP i DRSA. Poza przykładami można podejrzeć dokładną charakterystykę atrybutów (kryteriów), możliwe wartości jakie mogą przyjmować, kierunek preferencji i wskazać, który z nich ma być decyzyjnym (Rys. 6).

Rys.6 Moduł prezentacji atrybutów

Ponieważ cała analiza danych marketingowych oraz metody szukania strategii interwencji bazują na wygenerowanych regułach decyzyjnych, dlatego dużo zależy od sposobu ich generacji, tj. algorytmu oraz własności danej reguły: zaufania oraz wsparcia. Aktualnie w systemie GoalProject zaimplementowany jest prosty algorytm generujący wszystkie możliwe reguły, który dla analizowanego problemu 23 przykładów i 27 kryteriów stworzył aż 1071 reguł. Istnieje także możliwość wczytania do bazy danych przez GoalProject reguł wygenerowanych w innych programach przy pomocy różnych algorytmów lub przez późniejsze dodanie do aplikacji OLSA System komunikacji z GoalProject-em i generację reguł np. dla przefiltrowanych przykładów.

Dla każdej z reguł prezentowane są jej własności oraz lista przykładów, które ona pokrywa. Należy zaznaczyć, że liczba przykładów w kolumnie „Support” nie zawsze musi być równa faktycznej liczbie wyświetlanych przykładów pokrywanych przez tą regułę. Pierwsza wartość dotyczy reguły wczytanej z bazy danych i wygenerowanej dla całego zbioru przykładów, natomiast druga dotyczy już przypadku, który analizujemy w aplikacji i modyfikujemy, np. po filtracji przykładów będą wyświetlane tylko te, które spełniają warunki filtru, zazwyczaj będzie ich mniej (Rys. 7):

Rys.7 Moduł prezentacji reguł

Przy bardzo dużej liczbie reguł sensowna analiza jest mocno utrudniona lub wręcz niemożliwa. Aby strategie interwencji wywiedzione z reguł decyzyjnych były jak najbardziej wiarygodne można dokonać filtracji reguł wg dwóch kryteriów: minimalnego wsparcia reguły oraz maksymalnej liczby warunków elementarnych (długości reguły) [opcja Filter Options] (Rys. 8):

Rys.8 Moduł do filtrowania reguł

Etap 2 – analiza metodą szukania strategii interwencji

Załóżmy, że magazyn „Anna” jest zainteresowany zwiększeniem ogólnej oceny jego zawartości z 4 na 5 dla konkretnych ankietowanych. Pytanie, jakie może się nasunąć w tym momencie to, dla których z nich będzie to łatwe, a dla których trudniejsze? Teoretycznie im więcej lepszych ocen na poszczególnych kryteriach tym wyższa ogólna ocena końcowa. Dlatego należy szukać takich czytelników, którzy mają jak najwyższe oceny tematycznej zawartości czasopisma. Pomocna w tej sytuacji może być wizualizacja przykładów na wykresie [Analysis->Line Chart->Examples] (Rys. 9):

Rys.9 Moduł wykresu liniowego

Zaznaczony fragment wykresu wskazuje, że powyższe warunki spełnia m.in. respondent oznaczony numerem 11 (example_name=__ex11), ponieważ na dużej ilości kryteriów ma on wysoką ocenę. Powyższy rysunek jest niestety nieczytelny. Z pomocą przychodzi w takiej sytuacji możliwość filtracji przykładów. Dokonajmy takiej filtracji i wyświetlmy tylko tą część przykładów, która wizualnie ma wysokie oceny na dużej ilości kryteriów: nr 7, 11, 22:

SELECT * FROM magazine_Anna WHERE example_name IN (‘__ex7’, ‘__ex11’, ‘__ex22’)

Okazuje się, że największą liczbę kryteriów z najwyższymi ocenami ma przykład nr 11 (kolor niebieski) – aż 20, mniej bo 13 ma przykład nr 7 (kolor czerwony), a 10 nr 22 (kolor zielony) – Rys. 10:

Rys.10 Wykres liniowy dla przykładów: __ex7, __ex11, __ex22

Czytelnik nr 11 ocenia już ogólną zawartość magazynu na 5, więc do analizy wybieramy respondenta nr 7. Przekonajmy się, co należy zrobić, aby zmienił on ogólną ocenę zawartości magazynu z 4 na 5 wykorzystując do tego celu metodą szukania strategii interwencji.

Po wskazaniu w tabeli decyzyjnej interesującego nas przykładu i wybraniu metody szukania strategii [opcja Search of strategy pod prawym przyciskiem myszki] określamy decyzję co najmniej 5 i uruchamiamy obliczenia. W ich wyniku otrzymujemy aż 43 reguły – możliwe strategie interwencji, których zastosowanie pozwoli na zmianę ogólnej oceny z 4 na 5, a wśród której poszukujemy najlepszej. Nie można zapomnieć o niezgodnościach w zbiorze reguł, które w tym przypadku nie występują (Rys. 11).

Rys.11 Moduł szukania strategii interwencji

Ponieważ dla czasopisma „Anna” ważne jest osiągnięcie celu jak najmniejszym wysiłkiem i kosztem ustalono, że pod uwagę będą brane reguły o minimalnej liczbie warunków elementarnych. Takie postępowanie jest zrozumiałe, gdyż w konsekwencji będzie to równoważne małym zmianom na kryteriach przy zastosowaniu strategii wywiedzionej z takich reguł. Wśród otrzymanych rezultatów znajduje się 8 reguł (propozycji strategii interwencji) posiadających tylko jeden warunek elementarny.

Dla przykładu strategia wywiedziona z reguły nr 26 mówi, że wybrany przez nas czytelnik będzie oceniał zawartość czasopisma na 5, jeśli jego ocena na kryterium Praca będzie wynosić co najmniej 5 – aktualnie ocenia on je tylko na 3. Dla magazynu oznacza to, że jeśli chce on, aby ten właśnie respondent zmienił ogólną ocenę zawartości magazynu, musi spowodować podwyższenie jego oceny z 3 na 5 na kryterium Praca.

Aby powyższa analiza miała sens należy założyć, że magazyn „Anna” wie jak nakłonić czytelników do zmiany ich oceny na poszczególnych kryteriach. Gdyby z każdym kryterium i określoną zmianą na nim powiązać koszt to otrzymane 43 strategie można by było posortować po koszcie od najmniej kosztownej do najbardziej. Zastosowana strategia daje odpowiedzi na pytania tylko dla konkretnego jednego przykładu. Docelowo jej stosowanie powinno dotyczyć pewnej grupy obiektów pogrupowanych według określonych zasad (np. ogólną oceną zawartości magazynu równą 4) i odpowiadać na pytanie, co należałoby zrobić, aby wszyscy z tej grupy zmienili ogólną ocenę na 5 (jedna z możliwości rozbudowy OLSA System w przyszłości). Wówczas przy zastosowaniu wskazanej strategii interwencji magazyn zyskałby dodatkową grupę klientów (nie tylko jednego) oceniającą jego zawartość najwyżej.

Etap 3 – analiza metodą testowania strategii interwencji

W rzeczywistości bardzo często tematy dotyczące kina, muzyki, itp. nie są przez czytelników rozróżniane, a traktowane jako szeroko pojęta rozrywka. Magazyn „Anna”, przy drugim podejściu analizy danych ankietowych w systemie OLSA, bazuje właśnie na takim przypuszczeniu. Istnieje duża szansa, że respondenci bardzo podobnie ocenili zawartość czasopisma na trzech kryteriach: Sztuka i Kultura, Kino oraz Muzyka. Do sprawdzenia tego wykorzystamy prezentację danych w postaci wielowymiarowej tabeli OLAP i DRSA [Analysis->OLAP Settings->Examples]. Określamy więc, co chcemy mieć zaprezentowane i w jakiej postaci: trzy wymienione kryteria jako wymiary, wartości wymiarów (co najmniej) oraz miarę liczności (Rys. 12):

Rys.12 Moduł definiowania wymiarów i miary dla OLAP

W rezultacie otrzymujemy wielowymiarową tabelę danych. W pojedynczej komórce znajduje się liczba czytelników magazynu, którzy oceniają jego zawartość zgodnie z wartościami wymiarów określonymi dla danej komórki (rys. 13).

Rys.13 Moduł prezentacji danych wielowymiarowych OLAP

Rozkład wartości pokazuje, że przypuszczenie się potwierdza, ale nie w całości. Oceny zawartości tematycznej na tych kryteriach są bardzo zbliżone, ale praktycznie w większości przypadków istnieje różnica w wartości oceny na jednym z trzech kryterium, a dla dwóch pozostałych jest identyczna.

Powyższa analiza może być wyjściem do metody testowania strategii [opcja Test of strategy pod prawym przyciskiem myszki]. Cel jest taki sam – zmiana ogólnej oceny zawartości tematycznej magazynu przez czytelników z 4 na 5 przy jak najmniejszej ilości działań z tym związanych. Kierując się ponownie jak najwyższą oceną na jak największej liczbie kryteriów zastosujemy metodologię dla komórki określonej wymiarami: Sztuka i Kultura, Kino oraz Muzyka co najmniej 4 (wartości wymiarów, tzn. część warunkową reguły spełnia przykład nr 10). Następnie należy określić cel strategii (część decyzyjną) – dla danego wyboru obliczany jest współczynnik wiarygodności reguły. Dla decyzji co najmniej 5 otrzymujemy końcową postać reguły: (b11>=3)&(b12>=4)&(b13>=4) => (c>=5) i współczynnik równy 0% (Rys. 14). Oznacza to, że strategie wywiedzione z takiej reguły będą miały zerową wiarygodność.

Rys.14 Wybór celu strategii (części decyzyjnej reguły)

Należy więc poszukać takiej reguły która będzie miała dodatkowo, oprócz przyjętej wyżej zasady, jak największy współczynnik wiarygodności (najlepiej 100%). Jako kompromis przyjmijmy regułę postaci: (b11>=4)&(b12>=1)&(b13>=4) => (c>=5) ze współczynnikiem równym 50%, która pokrywa przykłady: nr 10 oraz nr 11 (ocenia już magazyn najwyżej).

Aby wymieniony przykład nr 10 był pokrywany przez tą regułę, tzn. dany czytelnik zmienił swoją ogólną ocenę na najwyższą, należy jeszcze sprawdzić czy w zbiorze wszystkich reguł nie ma niezgodności. Okazuje się, że takie są i żeby się ich pozbyć należy dodatkowo wymóc u niego zmianę oceny na wielu innych kryteriach (Rys. 15). Zgodnie z tą regułą wywiedziona z niej strategia interwencji o wiarygodności 50% mówi, że czytelnik nr 10 może zmienić ogólną ocenę zawartości czasopisma „Anna” pod warunkiem jego zmian oceny na wskazanych dodatkowych kryteriach.

Rys.15 Moduł testowania strategii interwencji

Dokonajmy teraz zmiany wartości na jednym z warunków elementarnych reguły i sprawdźmy (przetestujmy) czy istnieją inne przykłady, które pokryłaby część warunkowa reguły w zmienionej postaci. Okazuje się, że gdy zmienimy warunek (b13>=4) na (b13>=2) to poza respondentami nr 10 i 1 pokrywani są także nr 3 oraz 9. Co to dla nas oznacza? Otóż, jeśli magazyn „Anna” chciałby zmienić ogólną ocenę czytelnika nr 3 lub 9 na najwyższą musiałby spowodować zmianę jego oceny na kryterium Muzyka z obecnej równej 2 na 4 zgodnie ze strategią interwencji wywiedzioną z tej reguły oraz dodatkowo, aby zlikwidować niezgodności, zmianę na wskazanych kryteriach.

Analizę metodą opisaną w tym podpunkcie można przeprowadzić także dla reguły już wygenerowanej po jej wskazaniu w tabeli z wczytanymi regułami. Wówczas nie dokonujemy „ręcznego” wyboru celu strategii interwencji (części decyzyjnej), ponieważ taka reguła już go posiada i owy cel definiujemy wskazując odpowiednią dla nas regułę decyzyjną.

Etap 4 – badanie oczekiwanej efektywności strategii interwencji

Wyidukowany zbiór reguł wczytany razem z wynikami ankiety magazynu „Anna” informuje o występujących w niej regularnościach i zależnościach. Dotychczasowa analiza dotyczyła jednego zbioru czytelników. Załóżmy, że posiadamy dwa zbiory danych: podstawowy U czyli wyniki ankiety czasopisma oraz dodatkowy U’, na których chcemy sprawdzić efektywność strategii wywiedzionej z reguł wyidukowanych ze zbioru, a który w tym przypadku jest tym samym zbiorem (oczywiście może być inny oparty na tych samych kryteriach).

Do aplikacji OLSA System należy wczytać podstawowy plik z problemem: przykłady i reguły [File->Open file] oraz dodatkowy plik pokrywający się w tym przypadku z pierwszym [File->Open examples U’].

Ponieważ celem strategii włoskiego magazynu jest wzrost liczby czytelników oceniających ogólnie jego zawartość najwyżej, należy wybrać taką regułę decyzyjną, która pozwoli osiągnąć zamierzony cel, a dokładniej strategie interwencji z niej wywiedzione. Przypuśćmy, że właściciele czasopisma chcą tym razem oprzeć działania na dwóch kryteriach: Moda oraz Zdrowie i ograniczyć ewentualne zmiany ocen czytelników tylko na tych dwóch tematach. Kierując się tymi założeniami do dalszej analizy wybieramy regułę r postaci: (b3>=5)&(b7>=5) => (c>=5), tzn. jeżeli ocena Mody i Zdrowia będzie co najmniej 5 to czytelnik oceni magazyn na co najmniej 5 [opcja Calculate Coefficients pod prawym przyciskiem myszki].

W kolejnym kroku określamy, przez wybór odpowiednich warunków elementarnych, postać badanej strategii wywiedzionej z reguły. Przez strategię będziemy rozumieć w tym przypadku manipulację na zbiorze U’ mającą na celu transformację przykładów z („Target value”) & („Selected” \ ”Target value”) do pożądanych klas decyzyjnej. Jeśli dla przykładu wybralibyśmy tylko pierwszy (b3>=5) to oznaczałoby to, że badamy oczekiwaną efektywność strategii interwencji dla przykładów, które nie spełniają tego warunku elementarnego (b3<=4), natomiast spełniają drugi nie wybrany (b7>=5) i oczywiście oceniają magazyn na mniej niż 5 (c<=4). Nasza analiza zakłada sprawdzenie efektywności wszystkich możliwych strategii interwencji wywiedzionej ze wskazanej reguły, więc wybieramy wszystkie warunki elementarne i zaznaczamy opcję – wszystkie kombinacje (Rys. 16):

Rys.16 Moduł badania efektywności strategii interwencji wywiedzionej z reguł

Zanim przejdziemy do interpretacji wyników przypomnijmy znaczenie poszczególnych współczynników (wszystkie wartości wyrażone są w procentach i im są one większe tym lepiej) – dokładny opis omawianej metody można znaleźć w punkcie 3.2 pracy:

·        E(PSI) – wskaźnik efektywności stworzonej strategii ze względu na konsekwencję (część decyzyjną) danej reguły r,

·        E(FI) – wskaźnik efektywności wywiedzionej strategii ze względu na przesłanki (część warunkową) danej reguły decyzyjnej r,

·        DELTA(PSI) – oczekiwany wzrost liczby obiektów po zastosowaniu pojedynczej strategii interwencji,

·        c(FI) – wskaźnik określający udział (wkład) danego warunku użytego w strategiach bazujących na regule r,

·        I(FI) – wskaźnik określający kompletną skuteczność warunku użytego w strategiach bazujących na regule r,

·        TOTAL – całkowity oczekiwany wzrost liczby obiektów po zastosowaniu łącznej strategii interwencji wywiedzionej z danej reguły r, polegającej na jednoczesnej zmianie wielu warunków.

W rezultacie obliczeń otrzymujemy trzy możliwe strategie interwencji, które nakazują odpowiednio (Rys. 17):

·        Strategia 1 – zmienić ocenę na kryterium Moda na co najmniej 5 wszystkim tym czytelnikom, którzy oceniają ją obecnie na co najwyżej 4 i oceniają zawartość tematyczną magazynu na kryterium Zdrowie na co najmniej 5, a ogólną ocenę czasopisma mają równą co najwyżej 4,

·        Strategia 2 – zmienić ocenę na kryterium Zdrowie na co najmniej 5 wszystkim tym czytelnikom, którzy oceniają je obecnie na co najwyżej 4 i oceniają zawartość tematyczną magazynu na kryterium Moda na co najmniej 5, a ogólną ocenę czasopisma mają równą co najwyżej 4,

·        Strategia 3 – zmienić oceny na kryteriach Moda oraz Zdrowie na co najmniej 5 wszystkim tym czytelnikom, którzy oceniają je obecnie na co najwyżej 4, a ogólną ocenę czasopisma mają równą co najwyżej 4. Należy zauważyć, że tej strategii nie można tak naprawdę zrealizować.

Rys.1 Graficzna reprezentacja reguły i wywiedzionych z niej strategii interwencji

Teraz można postawić pytanie o oczekiwany procentowy wzrost czytelników magazynu „Anna” oceniających jego zawartość najwyżej po zastosowaniu każdej ze znalezionych strategii interwencji i rzeczywistą efektywność każdej z nich. Okazuje się, że działania podjęte zgodnie ze strategią nr 1 spowodują znikomy wzrost czytelników (4,35%). Najbardziej efektywną dla nas jest natomiast strategia nr 2, której zastosowanie da nam wzrost ponad połowy ankietowanych (52,17%) ze zbioru U’. Ostatnia proponowana strategia interwencji powoduje, że 34,78% respondentów zwiększy swoją ogólną ocenę z 4 na 5.

Jeśli chodzi o wartości wskaźników dla warunków elementarnych to dla pierwszego (b3>=5) są one bardzo małe: 21,74% (c(FI)) oraz 23,81% (I(FI)), a bardzo duże dla drugiego (b7>=5): 69,56% (c(FI)) oraz 76,19% (I(FI)). Wynika to oczywiście z faktu, że strategie, w których udział ma warunek pierwszy są mało efektywne (nr 1 i 3), natomiast drugi wchodzi w skład bardzo efektywnej strategii nr 2.

Podsumowując, w wyniku badania efektywności strategii interwencji wywiedzionej z wybranej na początku reguły r, otrzymano trzy możliwe strategie o różnych efektywnościach. Jednoczesne zastosowanie wszystkich pozwoli magazynowi „Anna” osiągnąć zamierzony cel w 91,3%, tj. najwyższą ogólną ocenę jego zawartości przez ewentualne zmiany tylko na dwóch kryteriach: Moda i Zdrowie, dla 91,3% respondentów ze zbioru U’. Pomijamy w tym przypadku sprawę kosztów takich zmian dla poszczególnych strategii i kryteriów.

Końcowe wnioski

Przeprowadzony eksperyment, na rzeczywistych danych ankietowych włoskiego magazynu „Anna”, pozwolił zapoznać się z możliwościami i zastosowaniem aplikacji OLSA System. Na początku został określony cel eksperymentu, a następnie przy wykorzystaniu trzech podejść analizy danych zawartych w programie, próbowano znaleźć sposoby jego osiągnięcia. W rezultacie otrzymano propozycje działań w postaci konkretnych strategii interwencji różniących się między sobą w zależności od postawionych przez czasopismo dodatkowych wymagań i wybranej metody. Bardzo pomocna okazała się różnorodność sposobów prezentacji analizowanych danych, m. in. na wykresie (w metodzie szukania strategii) i w tabeli wielowymiarowej (dla metody testowania strategii).

Otrzymane wyniki zawierają już określone działania, jakie musi podjąć czasopismo, aby zwiększyła się ogólna ocena jego zawartości przez czytelników (na najwyższą równą 5). Przebieg eksperymentu pokazał, że punktem wyjściowym analizy może być konkretny czytelnik magazynu (wtedy poszukujemy dla niego najlepszej strategii), jak i zamierzona strategia interwencji (wówczas testujemy jej zastosowanie oraz oczekiwaną efektywność). Wadą metod szukania oraz testowania strategii interwencji jest to, że obliczenia dotyczą jedynie pojedynczego ankietowanego natomiast trzecia z metod, w przeciwieństwie do pozostałych dwóch, bada oczekiwaną efektywność dla określonej grupy ankietowanych. Należy zaznaczyć, że bardzo przydatne byłoby wprowadzenie kosztów zmian ocen na poszczególnych kryteriach, dzięki czemu pojawiłby się element wyboru między efektywnością a kosztem zastosowania strategii interwencji.