% Studienarbeit von Ulrike Steffens
%
% Universitaet Hamburg
% Fachbereich Informatik
% Arbeitsbereich DBIS
%
% Kapitel: Bewertung von Information Retrieval Systemen
% 2.4.96

\chapter{Bewertung von Information Retrieval Systemen}
\label{irbewertung}

Es gibt eine Vielzahl von Modellen des Information Retrieval (vgl. Abschnitt 
\ref{irmodelle}). Somit werden ad"aquate Kriterien ben"otigt, um die 
verschiedenen Systeme, die diese Modelle implementieren, vergleichen zu 
k"onnen. Zus"atzlich erm"oglichen derartige Bewertungskriterien\index{Bewertungskriterium}, 
f"ur ein 
einzelnes System abzusch"atzen, unter welchen Bedingungen es der Anfrage am 
besten entsprechen kann.

Der Information Retrieval Proze"s beinhaltet eine Reihe von Schwierigkeiten. 
Diese Schwierigkeiten sind durch "au"sere Faktoren wie mehrdeutige Semantik 
nat"urlicher Sprache und Unterschiede in den Anforderungen verschiedener 
Benutzer bedingt, wobei die Abh"angigkeiten nicht immer durchschaubar sind 
(vgl. Abschnitt \ref{ir}). Daher reichen hier herk"ommliche Bewertungsmethoden 
f"ur Softwaresysteme allein nicht aus. Zus"atzliche  Bewertungskriterien, die 
auf die spezielle Situation des Information Retrieval abgestimmt sind, sind 
notwendig. Aus diesem Grunde unterscheidet man im Information Retrieval 
zwischen Systemtests, die sich auf die Leistung\index{Leistung}
 ({\em efficiency\index{efficiency}}) beziehen, und solchen, die mit der 
Wirksamkeit\index{Wirksamkeit} ({\em effectiveness\index{effectiveness}}) 
eines Systems befa"st sind. Hierbei fallen gebr"auchliche Bewertungskriterien 
wie Antwortzeiten und Kosten in die Kategorie Leistung. Die Bewertungskriterien 
f"ur die Wirksamkeit eines Systems sollen im folgenden eingehender betrachtet 
werden. Dabei werden zun"achst die Ma"se des R"ucklaufs\index{R"ucklauf} 
({\em recall\index{recall}}) und der Genauigkeit\index{Genauigkeit} 
({\em precision\index{precision}}) beschrieben. Anschlie"send 
wird die N"utzlichkeit\index{N"utzlichkeit} ({\em 
usefulness\index{usefullness}}) erl"autert.
\section{R"ucklauf und Genauigkeit}\label{precisionRecall}
\index{R"ucklauf} \index{Genauigkeit}
Als R"ucklauf eines Information Retrieval Systems bezeichnet man den 
Anteil des relevanten gewonnenen Materials am gesamten relevanten Material der 
Datensammlung:
\newline
\newline
\begin{center}
\fbox{\parbox{14cm}{\[ R"ucklauf = \frac{Anzahl \hspace{0,1cm}der 
\hspace{0,1cm}relevanten\hspace{0,1cm}gewonnenen \hspace{0,1cm}Objekte}
{Gesamtanzahl\hspace{0,1cm}der \hspace{0,1cm}relevanten \hspace{0,1cm}Objekte 
\hspace{0,1cm}in \hspace{0,1cm}der \hspace{0,1cm}Datensammlung} \]}}
\newline
\newline
\end{center}
Als Genauigkeit eines Information Retrieval Systems bezeichnet man den 
Anteil des relevanten gewonnenen Materials am gesamten gewonnenen Material:
\newline
\newline
\begin{center}
\fbox{\parbox{14cm}{\[ Genauigkeit = \frac{Anzahl \hspace{0,1cm}der 
\hspace{0,1cm}relevanten\hspace{0,1cm}gewonnenen \hspace{0,1cm}Objekte}
{Gesamtanzahl \hspace{0,1cm}der \hspace{0,1cm}gewonnenen \hspace{0,1cm}Objekte} \]}}
\newline
\newline
\end{center}
Anders ausgedr"uckt bezeichnet der R"ucklauf die F"ahigkeit eines Systems, beim
 Information Retrieval n"utzliche Objekte zu finden, w"ahrend die Genauigkeit 
die F"ahigkeit beschreibt, nutzloses Material auszuschlie"sen.

Die jeweiligen Werte von R"ucklauf und Genauigkeit k"onnen nicht unabh"angig 
voneinander betrachtet werden. Eine Anfrage kann auf der einen Seite eine 
gro"se Anzahl an Objekten als Ergebnismenge besitzen. Es wird dann jedoch mit 
gro"ser Wahrscheinlichkeit nicht jedes gewonnene Objekt Relevanz f"ur die 
Anfrage besitzen. Auf der anderen Seite kann sichergestellt werden, da"s 
gewonnene Objekte mit gro"ser Sicherheit f"ur die Anfrage relevant sind. Dann 
ist jedoch mit einer kleineren Ergebnismenge zu rechnen. Schon durch die Art 
der Indizierung einer Textsammlung ist es m"oglich, ein System derartig zu 
steuern, da"s es entweder sehr gute R"ucklauf- oder sehr gute Genauigkeitswerte 
liefert. Es wird hier zwischen ersch"opfender\index{ersch"opfende Indizierung}
 ({\em exhaustive\index{exhaustive indexing}}) und 
spezifischer\index{spezifische Indizierung} ({\em specific\index{specific indexing}}) 
Indizierung unterschieden \cite{sal83}. Ein effektiv benutzbares Information 
Retrieval System l"a"st jedoch sowohl Anfragen zu, die so weit gefa"st sind, 
da"s sie einen hohen R"ucklauf haben, 
als auch solche, die aufgrund ihrer Detailliertheit eine hohe Genauigkeit nach 
sich ziehen.
 
Die Ermittlung von R"ucklauf und Genauigkeit bringt sowohl praktische als auch 
Interpretationsprobleme mit sich. So ist etwa der Begriff der 
Relevanz\index{Relevanz} nicht eindeutig definierbar. Prinzipiell h"angt die 
Relevanz eines Textes stark von dem Wissensstand des Benutzers zu einem 
bestimmten Zeitpunkt ab. Liegt ein gewonnenes Dokument als erstes der 
Ergebnismenge vor, so mag es f"ur den Benutzer relevant sein, doch schon wenn 
es nicht als erstes vom Benutzer angesehen wird, kann es diese Relevanz 
verlieren, weil der Benutzer die Information, die dieses Dokument beinhaltet, 
bereits aus einem zuvor betrachteten Dokument erhalten haben k"onnte. 
In \cite{sal83} wird f"ur diese an einen Zeitpunkt gebundene Relevanz der 
Begriff der Sachdienlichkeit\index{Sachdienlichkeit} 
({\em pertinence\index{pertinence}}) eingef"uhrt. Der Begriff Relevanz
ist hingegen zeitunabh"angig zu betrachten.
Selbst wenn man den Begriff der Relevanz als den Grad interpretiert, zu dem 
ein Ergebnis eine Anfrage befriedigt, l"a"st sich dieser Wert einem Dokument 
bez"uglich einer Anfrage nicht eindeutig zuweisen. Das 
probabilistische\index{probabilistisches Modell} 
Modell (vgl. Abschnitt \ref{irmodelle}) erleichtert diese Zuweisung, indem es 
nicht wie Modelle mit exakter\index{exakte "Ubereinstimmung} "Ubereinstimmung 
die Entscheidung fordert, ob ein Dokument relevant ist oder nicht, sondern 
angibt, wie wahrscheinlich es ist, da"s das Dokument der Anfrage gen"ugt.
In der rein praktischen Ermittlung von Genauigkeit und R"ucklauf unterscheiden 
sich Modelle mit exakter und Modelle mit 
bestm"oglicher\index{bestm"ogliche "Ubereinstimmung} "Ubereinstimmung 
entsprechend. W"ahrend  beim Modell mit exakter "Ubereinstimmung nur jeweils 
ein einziger Wert f"ur Genauigkeit und R"ucklauf berechnet werden kann, ist es 
beim Modell mit bestm"oglicher "Ubereinstimmung sinnvoll, der Rangfolge der 
gewonnenen Objekte folgend eine Reihe solcher Werte zu betrachten. 
In \cite{sal83} wird speziell die Vorgehensweise bei der Bewertung von 
Modellen mit bestm"oglicher "Ubereinstimmung eingehender beschrieben.

Ein praktisches Problem unabh"angig von dem zugrundeliegenden Modell 
ergibt sich aus der Definition des R"ucklaufs. Um den entsprechenden Wert 
berechnen zu k"onnen, mu"s die Anzahl aller relevanten Texte in der 
Datensammlung bestimmt werden. Bei kleinen Datensammlungen kann eventuell die 
Relevanz jedes einzelnen Textes manuell "uberpr"uft werden. Bei gr"o"seren 
Sammlungen jedoch ist dieses Verfahren nicht praktikabel. Hier werden zwei 
Vorgehensweisen verfolgt. Zum einen l"a"st sich die Gesamtanzahl der 
relevanten Dokumente mit Hilfe von Stichproben aus der Datensammlung 
bestimmen. Zum anderen kann man eine Anfrage mit verschiedenen 
Methoden des Information Retrieval auswerten in der Annahme, da"s dadurch 
schlie"slich alle relevanten Dokumente der Sammlung gefunden und gez"ahlt 
werden k"onnen.

\section{N"utzlichkeit als Alternative zu R"ucklauf und Genauigkeit}
\index{N"utzlichkeit}\index{R"ucklauf}\index{Genauigkeit}
R"ucklauf- und Genauigkeitswerte werden h"aufig 
betrachtet, wenn Information Retrieval Systeme auf 
Standard-Datensammlungen\index{Standard-Datensammlung}, f"ur die bereits 
im Vorwege optimale Anfrageergebnisse definiert wurden, getestet werden. 
Ihre Handhabung wird kompliziert, wenn die Datenmengen zugrundegelegt werden, 
die sich beispielsweise in Weitverkehrsnetzen\index{Weitverkehrsnetz} befinden. 
Die Anzahl der Daten 
dort "uberschreitet die der Daten in Testsammlungen bei weitem, und es 
handelt sich dabei um dynamische Datenmengen. Zus"atzlich besteht das Problem, 
da"s die Relevanz von Texten bei der Ermittlung von R"ucklauf und Genauigkeit 
nur statisch betrachtet wird. Der momentane Wissensstand eines oder gar 
mehrerer Benutzer geht nicht mit ein.
Um derartigen Schwachstellen zu begegnen, ist das Ma"s der N"utzlichkeit 
entwickelt worden. Bei der Ermittlung dieses Wertes weist ein Benutzer den vom 
System gewonnenen Objekten eine relative Relevanz zu, indem er sie vergleicht. 
Er bildet Paare $(o,o')$ und legt dadurch fest, da"s f"ur ihn $o'$ mehr 
Relevanz besitzt als $o$. In den 
Information Retrieval Systemen werden ebenfalls Relationen festgelegt, die 
sich aus der sys\-tem\-in\-ternen Rangfolge der gewonnenen Objekte ergeben. 
Unter Verwendung der Benutzer- und der Systemrelationen lassen sich zwei 
Systeme stochastisch miteinander vergleichen. Die genaue Vorgehensweise 
hierzu findet sich in \cite{fre91}. Die ausschlie"sliche Ber"ucksichtigung 
gewonnener Dokumente f"uhrt dazu, da"s der Aufwandd bei der Bewertung eines 
Systems gering bleibt. Das relative Ma"s bedeutet f"ur menschliche 
Entscheidungstr"ager, die die Relevanz eines Objektes zu beurteilen haben, 
eine Vereinfachung. Es ist einfacher, zwei Objekte zu vergleichen als ein
einzelnes unabh"angig von anderen zu beurteilen.
