Evaluation campaigns and TRECVid
conference paper
The TREC Video Retrieval Evaluation (TRECVid)is an international benchmarking activity to encourage research in video information retrieval by providing a large test collection, uniform scoring procedures, and a forum for organizations 1 interested in comparing their results. TRECVid completed its fifth annual cycle at the end of 2005 and in 2006 TRECVid will involve almost 70 research organizations, universities and other consortia. Throughout its existence, TRECVid has benchmarked both interactive and automatic/manual searching for shots from within a video corpus,automatic detection of a variety of semantic and low-level video features, shot boundary detection and the detection of story boundaries in broadcast TV news. This paper will give an introduction to information retrieval (IR) evaluation from both a user and a system perspective, high-lighting that system evaluation is by far the most prevalent type of evaluation carried out. We also include a summary of TRECVid as an example of a system evaluation bench-marking campaign and this allows us to discuss whether such campaigns are a good thing or a bad thing. There are arguments for and against these campaigns and we present some of them in the paper concluding that on balance they have had a very positive impact on research progress. Copyright 2006 ACM.
Het videozoeksysteem TREC Video Retrieval Evaluatie (TRECVid) is een internationale benchmarkactiviteit ter bevordering van onderzoek op het gebied van het zoeken van video-informatie door het aanbieden van een testverzameling, uniforme scoringsprocedures en een forum voor organisaties die de resultaten vergelijken. TRECVid omvatte in 2006 bijna 70 onderzoeksinstituten, universiteiten en andere instellingen. TRECVid heeft diverse benchmarks uitgevoerd van zowel interactief als automatisch/handmatig zoeken naar beelden binnen video-opnames, automatische detectie van een verscheidenheid aan semantische en laagniveau videokenmerken, detectie van begin en eind van opnames en van onderwerpen in nieuwsuitzendingen. Deze bijdrage biedt een inleiding tot het evalueren van informatiezoeken zowel vanuit een gebruiker als vanuit een systeem, en benadrukt dat systeemevaluatie veruit het meest gangbare type evaluatie is. Ook is een samenvatting opgenomen van TRECVid als voorbeeld van een systeemevaluatie benchmarkcampagne en op basis daarvan kunnen we bespreken of dergelijke campagnes wenselijk zij
Topics
TNO Identifier
239709
Source title
8th ACM Multimedia International Workshop on Multimedia Information Retrieval, MIR 2006, co-located with the 2006 ACM International Multimedia Conferenc, 26-27 October 2006, Santa Barbara, CA, USA
Pages
321-330