% Studienarbeit von Ulrike Steffens
%
% Universitaet Hamburg
% Fachbereich Informatik
% Arbeitsbereich DBIS
%
% Kapitel: Information Retrieval
% 11.3.96

\chapter{Information Retrieval}
\label{ir}

Als Information\index{Information Retrieval} Retrieval bezeichnet man einen 
Proze"s, in dem die 
Verbindung zwischen einer Person mit 
Informationsbedarf\index{Informationsbedarf} ({\em 
information\index{information need} need}) und einer Sammlung von 
Texten\footnote{Hier und 
im folgenden wird der Ausdruck Text oder Objekt verwendet. Der Gro"steil der 
behandelten Konzepte ist aber durchaus auch f"ur Multimedia-Objekte 
wie Grafik, Video oder Audio g"ultig.} hergestellt wird
(vgl. Abbildung \ref{irgenmodell}).

\begin{figure}[hbt]
\begin{center}
\leavevmode
\epsfxsize=10cm \epsfysize=8cm
\epsffile{/usr/users/stud/steffens/Studienarbeit/Latex/Bilder/ir.epsf}
\end{center}
\caption[Ein allgemeines Modell des Information Retrieval]
{Ein allgemeines Modell des Information Retrieval [BC92]}
\label{irgenmodell}
\end{figure}

Der Informationsbedarf der Person resultiert hierbei aus einem 
bestimmten, von ihr verfolgten Ziel und ist zeitlich begrenzt. 
Eine regelm"a"sige Weiterleitung von Informationen an Personen
hei"st Informationsfilterung\index{Informationsfilterung} ({\em 
information\index{information filtering} filtering}) \cite{bel92}
und ist vom Information Retrieval zu unterscheiden.

Sowohl die Verwaltung von B"uchern, Artikeln und "ahnlichem in 
Bibliotheken, in denen die Texte in Papierform vorliegen, als auch das 
effektive Suchen in diesen Bibliotheken sind mit
Problemen behaftet (vgl. \cite{sal83}). Die Forderung nach st"andiger Aktualisierung
und einem breiten Angebot beispielsweise f"uhrt zu gro"sen Datenmengen. Da 
in einer Bibliothek nur begrenzt Raum
zur Verf"ugung steht, m"ussen regelm"a"sig Werke ausgemustert werden. Dabei ist die 
Entscheidung, welche Texte f"ur die Benutzer einer Bibliothek keine
Relevanz mehr besitzen, nicht trivial. Weiterhin
hat die Suche "uber das Katalogsystem der Bibliothek oft eine gro"se
Zahl von Werken zum Ergebnis, die vom ersten Anschein her den Informationsbedarf des Anfragenden decken 
k"onnten. Dieser mu"s zun"achst alle Texte sichten, bevor er entscheiden kann, welche
davon tats"achlich seinem Zweck dienen. Eine automatisierte Vorabbewertung der
Texte, die auf das Problem des Suchenden abgestimmt ist, w"are f"ur die
Begrenzung der Ergebnismenge hilfreich.
Erfordernisse dieser Art sind in traditionellen Bibliotheken kaum zu
erf"ullen und machen das 
Information Retrieval zu einem Einsatzgebiet f"ur Softwaresysteme \footnote{Im weiteren Verlauf der vorliegenden Arbeit bezieht sich der Begriff des 
Information Retrieval grunds"atzlich auf rechnergest"utzte Verfahren.}.

Damit Information\index{Information Retrieval Systeme} Retrieval Systeme ihre 
Aufgabe erf"ullen k"onnen, m"ussen
f"ur die na\-t"ur\-lich\-sprach\-lichen Daten sowohl auf der Seite des 
Informationssuchenden (des Benutzers) als auch auf der Seite der Textsammlung
maschinengerechte 
Repr"asentationen\index{Repr"asentationene}\footnote{Maschinengerechte 
Repr"asentationen werden im Folgenden der Einfachheit halber als
Repr"asentationen bezeichnet.} gefunden werden. Der 
Benutzer formuliert seinen Informationsbedarf in einer
syntaktischen Form, die das Information Retrieval System verarbeiten kann, 
der Anfrage\index{Anfrage} ({\em query\index{query}}).
Die Dokumente der Textsammlung werden durch Strukturen beschrieben, die 
Textvertreter\index{Textvertreter} ({\em text\index{textsurrogates}
 surrogates}) genannt werden. Ein typischer 
Textvertreter ist beispielsweise eine Menge von im Text vorkommenden 
Termen. Den Vorgang, in dem die urspr"unglichen Texte durch Vertreter 
erg"anzt werden, bezeichnet man als Indizierung\index{Indizierung} ({\em 
indexing\index{indexing}}). 
Die Textvertreter, die sich durch die Indizierung ergeben, werden in 
Datenbanken organisiert, auf die das Information Retrieval System zugreift.

In der Repr"asentation von Texten und Informationsbedarf sowie in deren 
Abgleich 
liegen die besonderen Anforderungen des 
Information Retrieval. Die Abbildung nat"urlicher Sprache auf vom Rechner 
interpretierbare Darstellungen l"a"st sich nicht ohne einen Verlust an Semantik 
durchf"uhren. Hierbei fallen die folgenden zwei Aspekte besonders ins Gewicht: 
\begin{itemize}
\item Die Anfragen, die an ein Information Retrieval System gestellt 
werden, sind {\em vage\index{vage Anfragen} Anfragen}. Das hei"st, ihre 
Bedeutung ist a priori nicht 
eindeutig definiert. 

Die Ursache hierf"ur ist zum einen, da"s der Benutzer
nicht immer im Vorwege wei"s, nach welchen Begriffen er sucht, und diese daher
auch nicht benennen kann. Als Beispiel diene ein Studierender, der nach einem
mathematischen Verfahren sucht, um den unbekannten Wert einer Funktion
zwischen zwei bekannten Werten zu ermitteln. W"u"ste er, da"s das gew"unschte
Verfahren {\em ''interpolation''}\footnote{In dieser Arbeit werden durchg"angig 
Beispiele in englischer Sprache repr"asentiert. Die behandelten Konzepte,
 Modelle und Anforderungen lassen sich jedoch auf andere Sprachen "ubertragen.} 
genannt wird, so k"onnte er seine Anfrage 
pr"aziser
formulieren als ohne dieses Wissen. 

Ein anderer Grund f"ur die Vagheit von 
Anfragen ist, da"s der Benutzer h"aufig nicht in der Lage ist, den logischen
Kontext der von ihm gesuchten Information genau zu erkennen und darzulegen.
F"ur detaillierte Formulierungen, wie z.B. {\em ''I am looking for political
information about World War \nolinebreak II, that is especially concerned with the role of
Great Britain, that does not contain any military or strategic details and
that also considers the pre-war time.''}, bedarf
es konkreter Vorstellungen "uber die gesuchten Texte und dar"uber
hinaus auch "uber die anderen Texte der Textsammlung, die es auszugrenzen gilt.
\item Der Vagheit auf der Anfrageseite steht die {\em 
Unsicherheit\index{Unischerheit}} auf der
Textseite gegen"uber. Die Semantik eines nat"urlichsprachlichen Textes l"a"st sich 
nur unvollst"andig auf eine Repr"asentation abbilden \cite{fuh93}. H"aufig
geht w"ahrend der Indizierung der Kontext, den ein Dokument f"ur Begriffe
darstellt, verloren. Der Begriff {\em ''operating system''} beispielsweise 
kann in
unterschiedlichem Zusammenhang in Texten "uber Betriebssysteme selbst, "uber 
Hardware und auch "uber Software auftauchen. 
\end{itemize}
Um im Information Retrieval 
dennoch befriedigende Anfrageergebnisse zu erreichen, wurden 
zahlreiche allgemeine Modelle entwickelt, die sich mit einer angemessenen Repr"asentation
nat"urlicher Sprache und mit der Auswertung solcher Repr"asentationen
besch"aftigen (vgl. Kapitel \ref{irmodelle}). 

Viele dieser Modelle machen von konkreten sprachlichen\index{sprachliche 
Konzepte} 
Konzepten Gebrauch, die das Information Retrieval
vereinfachen.
Ein solches Konzept ist beispielsweise die 
Stoppwortelimitierung\index{Stoppwortelimitierung} 
({\em stopping}\index{stopping}), bei der Stoppw"orter\index{Stoppw"orter} 
({\em stopwords\index{stopwords}}), die f"ur den Inhalt
der Dokumente nicht wesentlich sind, von der Indizierung ausgeschlossen
werden. Ein weiteres Konzept ist die 
Stammformreduktion\index{Stammformreduktion} der W"orter
({\em stemming\index{stemming}}). Hierdurch werden 
Derivationen\index{Derivation}\footnote{{\bf Derivation}:
Bildung neuer W"orter aus einem Ursprungswort} und 
Flexionen\index{Flexion}\footnote{
{\bf Flexion}: Deklination oder Konjugation eines Wortes} unter ihrem Wortstamm 
zusammengefa"st und ihre einzelne Indizierung unterbunden. Somit wird
in der Textsammlung grunds"atzlich nach dem Wortstamm\index{Wortstamm}
 gesucht, was die
Ergebnismenge vergr"o"sert. Die Ver"anderung eines exemplarischen Anfragetextes 
durch Stoppwortelimitierung und Stammformreduktion kann
anhand der Abbildung \ref{stem} nachvollzogen werden.
\begin{figure}[hbt]
\begin{center}
\leavevmode
\fbox{\parbox{7.5cm}{Document will describe {\bf marketing strategies carried} out by {\bf U.S. companies}
for their {\bf agricultural chemicals}, {\bf report predictions} for {\bf market share} of such
{\bf chemicals}, or {\bf report market statistics} for the {\bf chemicals}. {\bf pesticide}, {\bf herbicide},
{\bf fungicide}, {\bf insecticide}, {\bf fertilizer}, {\bf predicted sales}, {\bf market share}, {\bf stimulate
demand}, {\bf price cut}, {\bf volume} of {\bf sales}}}
\fbox{\parbox{5cm}{marketing strategy carry usa company agriculture
chemical report prediction market share chemical report market statistic
chemical pesticide herbicide fungicide insecticide fertilizer
predict sale market share stimulate demand price cut volume sale}}
\end{center}
\caption[Ein Anfragetext vor und nach der Stoppwortelimitierung und der Stammformreduktion]
{Ein Anfragetext vor und nach der Stoppwortelimitierung und der Stammformreduktion [BCC94]}
\label{stem}
\end{figure}

Durch die Begriffserkennung\index{Begriffserkennung} 
({\em concept\index{concept recognition} recognition}) werden bestimmte
Begriffsklassen\index{Begriffsklassen} in den Dokumenten erkannt. Solche 
Begriffsklassen sind z.B.
Firmennamen, Zahlen, Orte, St"adte und andere Konzepte, die f"ur den Benutzer von
Bedeutung sind. Der Begriffserkenner sucht nach 
bestimmten Mustern im Text, die auf die von ihm zu erkennende
Begriffsklasse schlie"sen lassen. So sucht ein Begriffserkenner f"ur 
Firmennamen beispielsweise nach W"ortern, die von Bezeichnungen begleitet 
werden, die auf eine Unternehmungsform hinweisen, wie {\em ''Co''}, 
{\em ''Inc''} oder {\em ''Ltd''}. Ein Begriffserkenner f"ur Personennamen 
k"onnte ein
"ahnliches Schema verfolgen, indem er nach W"ortern in Verbindung mit Berufs-
oder Ehrentiteln sucht. Ebensogut k"onnte ein solcher Begriffserkenner aber
auch auf einer Datenbank mit bekannten Namen arbeiten. Hat ein Begriffserkenner
ein bestimmtes Muster identifiziert, so wird an der entsprechenden Stelle im 
Dokument das Auftauchen der jeweiligen Begriffsklasse vermerkt. Zudem ist
ein Begriffserkenner in der Lage, verschiedene Repr"asentationen 
eines einzelnen Begriffes als einen solchen zu erfassen. So m"ussen z.B. die
Begriffe {\em ''1 million''}, {\em ''1000000''} und {\em ''1.000.000''} als 
die gleiche Zahl 
erkannt werden. Die Rolle von Begriffserkennern verdeutlicht die Abbildung \ref{recog}.
\begin{figure}[hbt]
\begin{center}
\leavevmode
\fbox{\parbox{6cm}{{\bf John Davenport}, 52 years old, was appointed chief executive
officer of this international telecommunications concern's {\bf U.S.} subsidiary,
{\bf Cable \& Wireless North America Inc. Mr. Davenport}, who succeeds {\bf John Zrno},
is currently general manager of the group's operations in {\bf Bermuda}}}
\fbox{\parbox{6.5cm}{John Davenport \#PERSON, 52 years old, appointed chief
executive officer international telecommunications concern U.S. \#USA subsidiary,
Cable Wireless North America Inc. \#COMPANY Mr. Davenport \#PERSON, succeeds
John Zrno \#PERSON, currently general manager group's operations Bermuda
\#FOREIGNCOUNTRY.}}
\end{center}
\caption[Ein Dokumententext vor und nach der Begriffserkennung]
{Ein Dokumententext vor und nach der Begriffserkennung [BCC94]}
\label{recog}
\end{figure}

Besonders bei der Suche nach Eigennamen ist das Konzept der 
phonetischen\index{phonetische Suche}
Suche hilfreich. Hierbei wird die korrekte Schreibweise eines Wortes vom
System au"ser acht gelassen, indem es auch nach "ahnlich klingenden W"ortern
sucht. Eine Anfrage nach {\em Allan Turing} oder {\em Allen Turing} w"are
daher ebenso erfolgreich wie die korrekte Anfrage nach {\em Alan Turing}.

Zus"atzlich zur einfachen Indizierung nehmen einige Information Retrieval
Systeme auch eine Feldindizierung\index{Feldindizierung} vor. 
Felder\index{Feld} sind speziell
gekennzeichnete Textabschnitte in einem Dokument. Denkbare Felder w"aren
beispielsweise {\em ''title''}, {\em ''abstract''}, {\em ''text''} oder 
"ahnliches. Die
Vorgehensweise bei der Feldindizierung ist identisch zu der der einfachen 
Indizierung. Die jeweils zu indizierenden Felder werden wie Gesamtdokumente 
behandelt und die "ubrigen Felder werden nicht beachtet.

Bei Benutzung der beschriebenen oder weiterer Konzepte ist es wichtig, da"s diese sowohl
bei der Indizierung der Textsammlung als auch bei der Bearbeitung der Anfragen
Anwendung finden. Werden die Anfragen auf andere Weise repr"asentiert als die
Texte, so besteht die Gefahr, da"s nach Begriffen gesucht wird,
die in der Textsammlung in dieser Form nicht vorkommen. Der entsprechende 
Information Retrieval Proze"s wird somit erfolglos abgeschlossen, obwohl 
sich Dokumente, die Relevanz f"ur die Anfrage besitzen, in der Textsammlung 
befinden.

Liegen Informationsbedarf und Textsammlung in zueinander passenden, 
systemad"aquaten Repr"asentationen vor, so kann der eigentliche 
Information Retrieval Vorgang stattfinden. Durch eine Auswertung\index{Auswertung} 
der organisierten Textvertreter hinsichtlich der Anfrage ermittelt das System 
eine Auswahl an Texten, die den Informationsbedarf des Benutzers decken 
k"onnten. Da der tats"achliche Informationswert der gewonnenen
Texte aufgrund der semantischen Unsicherheit im Information Retrieval
schwankt,
kann jedoch nicht davon ausgegangen werden, da"s die Ergebnistexte dem 
Informationsbedarf mit Sicherheit gen"ugen werden. 

M"oglicherweise beinhalten die gewonnenen Objekte f"ur den Benutzer 
ausreichendes Wissen. Er wird dann den Information Retrieval Proze"s 
abschlie"sen und das System verlassen. Die Ergebnistexte k"onnen jedoch auch
f"ur die Relevanzr"uckkopplung\index{Relevanzr"uckkopplung} ({\em 
relevance\index{relevance feedback} feedback}) verwendet werden.
Das bedeutet, da"s der Benutzer die M"oglichkeit
erh"alt, das Ergebnis des ersten Information Retrieval Vorganges
zu bewerten. Das System ist in der Lage, aus dieser
Evaluation heraus die Anfrage so zu ver"andern, da"s sie dem 
eigentlichen Informationsbedarf des Benutzers besser entspricht als zuvor.
Abgesehen von dieser anfragebezogenen Nutzung von 
Relevanzr"uckkopplungsdaten gibt es weitere Ans"atze, wie z.B. die
dokumentenbezogene Nutzung, bei der diese Daten f"ur eine
Verbesserung der Dokumentenrepr"asentationen herangezogen werden 
\cite{fuh92}. 

