Onderzoeksopzet
Op deze pagina wordt de gehanteerde onderzoeksopzet toegelicht. We gaan in op de wijze waarop de marktpartijen zijn betrokken en lichten de gebruikte methodes, de betrouwbaarheid, de verschillende onderzoeksgebieden en de berekening van de Provider Performance Score toe.
In dialoog met de markt
Het onderzoek is geïnitieerd door Hospitality Group, maar afgestemd met de meeste Nederlandse providers die actief zijn op het gebied van hoge knip uitbesteding. Voorafgaand aan het onderzoek zijn alle providers geïnformeerd over het onderzoek en zijn de onderzoeksmethode, de definities en de afbakening van het onderzoek besproken
Voor dit onderzoek hebben we een gestructureerde methodiek gebruikt waarbij we de opdrachtgevers van de providers interviewden. Alle providers is gevraagd contactinformatie te verstrekken over hun opdrachtgevers en hieraan hebben ze allemaal actief meegewerkt.
Het samen met providers en opdrachtgevers realiseren van verbeterinitiatieven en verdere professionalisering van de markt van hoge knip uitbesteding is wat we met het onderzoek continu voor ogen hebben.
De onderzoeksmethodiek
Als onderzoeksmethode is gekozen voor het interview. Het voordeel van het interview als onderzoeksmethode is dat de respons maximaal is en het feit dat respondenten antwoorden op (complexe) vragen kunnen toelichten, hetgeen de betrouwbaarheid van het onderzoek verhoogt.
Opdrachtgevers zijn telefonisch geïnterviewd op basis van een uitgebreide vragenlijst. De geïnterviewden waren binnen hun opdrachtgeversorganisatie de eindverantwoordelijke voor het contract in Nederland. Vaak waren dit de verantwoordelijke voor facility management, de contractmanager of de demand manager.
De onderzoekspopulatie bestaat uit alle organisaties in Nederland die facility management met een hoge knip hebben uitbesteed. De onderzoekspopulatie is samengesteld met behulp van meerdere bronnen:
- Alle providers die hoge knip uitbesteding aanbieden is gevraagd de contactgegevens van hun opdrachtgevers te verstrekken.
- In onze adviespraktijk zijn alle organisaties die een hoge knip uitbestedingsvorm hebben geïdentificeerd.
- Een groot aantal marktdeskundigen (journalisten, consultants, e.d.) is gevraagd naar organisaties met en contactpersonen van organisaties met hoge knip uitbestedingcases.
Uit de onderzoekspopulatie zijn alle contactpersonen persoonlijk benaderd. In bijna 90% van de gevallen is positief gereageerd en heeft een interview plaatsgevonden.
Onderzoeksgebieden
Het onderzoek beoordeelt de performance van de providers vanuit meerdere invalshoeken. Dit vergroot de validiteit van het onderzoek. Validiteit is de mate waarin wordt gemeten wat we daadwerkelijk willen meten. De opdrachtgevers zijn over hun provider bevraagd op verschillende gebieden:
- Algemene beoordeling
- Beoordeling op zes verschillende thema’s
- Het belang dat de opdrachtgever hecht aan de verschillende thema’s
- Beoordeling op zeven competenties
- Het belang dat de opdrachtgever hecht aan de verschillende competenties
- Beoordeling op basis van de Net Promotor Score
- Beoordeling op het thema Wendbaarheid in tijden van Crisis
Algemene beoordeling
De opdrachtgevers is gevraagd om een totaalcijfer te geven voor het presteren van hun provider. De algemene beoordeling houdt rekening met alle aspecten die een opdrachtgever van belang vindt in de performance van de provider.
Beoordeling op thema’s
In samenwerking met de providers zijn zes thema’s gekozen die relevant zijn voor de performance van providers:
- Contract Compliance
- Klantmanagement
- Rapportages en Financieel Beheer
- Integratie van Dienstverlening
- Innovatie en Continu Verbeteren
- Aansluiting op de Core Business
Deze thema’s zijn geoperationaliseerd in een groot aantal gesloten interviewvragen die zijn voorgelegd aan de opdrachtgevers. Het resultaat is de tevredenheidsscore van opdrachtgevers op deze thema’s.
Belang van de thema’s
Naast de tevredenheid over de thema’s is ook het belang dat opdrachtgevers hechten aan de thema’s onderzocht. Dit belang is op twee manieren gemeten. Enerzijds is aan alle respondenten gevraagd om een belangscore aan te geven aan de verschillende thema’s en anderzijds is gevraagd om de thema’s te rangschikken in mate van belang. Door het belang van de thema’s uit te vragen, kunnen we de beoordeling en het belang met elkaar in verband brengen. Niet alle thema’s zijn voor opdrachtgevers even belangrijk. Bij de beoordeling van de performance moet idealiter ook rekening worden gehouden met het belang dat een respondent hecht aan de individuele thema’s. Deze relatie (belang versus beoordeling) is in dit onderzoek nadrukkelijk meegenomen.
Beoordeling op competenties
Naast de beoordeling op relevante thema’s is ook beoordeeld op relevante competenties. Competenties definiëren we als een geïntegreerd geheel van kennis en inzicht, en vaardigheden en attitudes van de providers. Waar de thema’s gericht zijn op resultaten, gaan de competenties over de eigenschappen (input) die providers laten zien. Het is het vermogen van de providers om essentiële taken adequaat te verrichten. De volgende zeven competenties van providers zijn onderzocht:
- Integriteit en Betrouwbaarheid
- Samenwerken
- Betrokkenheid
- Vakmanschap
- Flexibiliteit
- Organisatiebewustzijn
- Proactiviteit
Belang van de Competenties
Naast de tevredenheid over de competenties is ook het belang dat opdrachtgevers hechten aan de competenties onderzocht. Hiermee kunnen we beoordeling en belang met elkaar in verband brengen. Niet alle competenties zijn voor opdrachtgevers even belangrijk. Bij de beoordeling van de performance moet idealiter ook rekening worden gehouden met het belang dat een respondent hecht aan de individuele competenties. Deze relatie (belang versus beoordeling) is in dit onderzoek nadrukkelijk meegenomen.
Aanbevelingsscore
De aanbevelingsscore is uitgevoerd op basis van de Net-Promoter-Scoremethodiek. Dit is een eenvoudig maar krachtig instrument om met één enkele vraag de tevredenheid te meten. De Net Promotor Score peilt bij de opdrachtgever in welke mate deze zijn provider aan andere organisaties zou aanbevelen. De achterliggende gedachte is simpel: indien je tevreden bent over je provider, ben je eerder geneigd/bereid dit met anderen te delen.
Op basis van de score op de Net-Promotervraag onderscheiden wij drie categorieën respondenten:
- Actief tevredenen (Promotors) = respondenten die een score van 9 of 10 hebben gegeven
- Passief tevredenen (Passifs) = respondenten die een score van 7 of 8 hebben gegeven
- Criticasters (Detractors) = respondenten die een score van 0 tot 6 hebben gegeven
Er zijn wel wat kanttekeningen te plaatsen bij de Net-Promoter-Scoremethode. Het model is eenvoudig en wat weinig wetenschappelijk gefundeerd. Daarnaast geeft het model enkel getallen en percentages weer en geen oorzaken en effecten en meet het niet het gedrag van klanten. De Net Promotor Score is vooral een indicatief instrument bij de beoordeling van providers. In de profielen van de providers wordt voor iedere provider aangegeven wat hun Net Promotor Score is.
Beoordeling op het thema wendbaarheid in tijden van crisis
Aan de opdrachtgevers zijn een aantal contextuele vragen gesteld rondom hun situatie in tijden van de huidige COVID-19-crisis. Daarnaast zijn zij bevraagd op hun verwachtingen van providers ten aanzien van de thema’s en competenties gedurende deze periode en of dit de prestaties van providers heeft beïnvloed. Tot slot zijn er tijdens het interview een aantal stellingen voorgelegd aan opdrachtgevers om hun visie op Facility Management na COVID-19 te verkrijgen.
Provider Performance score
Om te komen tot één overall indicator van de performance van de providers is de Provider Performance Score ontwikkeld. De Provider Performance Score is opgebouwd uit verschillende bouwstenen. De bouwstenen zijn de verschillende onderzoeksgebieden zoals weergegeven in paragrafen hierboven. Om de diepgang waarmee de verschillende bouwstenen zijn onderzocht weer te geven, zijn tevens gewichten toebedeeld aan die bouwstenen. Deze gewichten kennen enige mate van subjectiviteit en daarom is onderzocht of de toebedeelde gewichten van grote invloed zijn op het eindoordeel. Dit blijkt niet het geval te zijn. De Provider Performance Score is als volgt berekend:
Provider Performance Score = Σ (+Abeoor*0,3 + Tbeoor*0,2 + [Tbel * Tbeoor]*0,1 + Cbeoor *0,2 + [Cbel * Cbeoor]*0,1 + NPS*0,1)
- Algemene beoordeling (Abeoor)
- Gemiddelde beoordeling van thema’s (Tbeoor)
- Gemiddelde belang versus de beoordeling thema’s (Tbel)
- Gemiddelde beoordeling van competenties (Cbeoor)
- Gemiddelde belang versus de beoordeling competenties (Cbel)
- Aanbevelingsscore (NPS)
De Provider Performance Score is zowel berekend voor de overall performance van providers als voor de performance van de providers op de verschillende uitbestedingsvormen.
Variabiliteitsscore
Nieuw dit jaar is de variabiliteitsscore. Deze score geeft aan hoe stabiel en betrouwbaar de PPO-score van een provider is. De variabiliteit van de PPO-score van providers wordt in belangrijke mate bepaald door het aantal respondenten dat per provider wordt geïnterviewd en door het percentage jaarlijks terugkerende respondenten. Een groter aantal respondenten dat door de jaren heen stabiel blijft vermindert de fluctuatie van de PPO-score. Bij minder respondenten en veel wisselingen in respondenten door de jaren heen, is de kans groter op een fluctuerende positie in de ranglijst. In het onderzoek maken we onderscheid tussen een lage, een gemiddelde en een hoge variabiliteitsscore. Providers met een hoge variabiliteitsscore kennen relatief weinig fluctuatie van de PPO-score en weinig wijzigingen in (aantallen) respondenten ten opzichte van voorgaande jaren. Een lage variabiliteitsscore daarentegen betekent dat er sprake is van een fluctuerende PPO-score door wijzigingen in het aantal respondenten evenals in het percentage jaarlijks terugkerende respondenten. Des te hoger de variabiliteitsscore, des de betrouwbaarder is de PPO-score van de provider. Dit wil zeggen dat wanneer het onderzoek opnieuw plaatsvindt, de PPO-score vergelijkbaar zal zijn.
Betrouwbaarheid onderzoek
In het onderzoek onderscheiden we vier hoge knip uitbestedingsvormen (integrated facility management, managing agent, multi service en publiek-private samenwerking). Hier beschrijven we deze vier modellen.
Om betrouwbare uitspraken te kunnen doen over de performance van de providers hebben wij als ondergrens gehanteerd dat drie respondenten per uitbestedingsvorm nodig zijn om een provider op te kunnen nemen in het onderzoek. Het aantal van drie respondenten lijkt weinig, maar is vaak het overgrote deel van het totaal aantal opdrachtgevers dat een provider heeft in een specifiek uitbestedingsvorm. In tegenstelling tot hetgeen hiervoor is aangegeven, is voor de uitbestedingsvorm publiek-private samenwerking een ondergrens gehanteerd van twee respondenten. Dit heeft te maken met het beperkt aantal PPS-projecten en de grote wens van de providers om PPS als aparte uitbestedingsvorm te onderzoeken.
De betrouwbaarheid van een onderzoek is de mate waarin de bevindingen te vertalen zijn naar een groter geheel. Het minimum aantal respondenten dat per provider is geïnterviewd zegt derhalve niets over de betrouwbaarheid van het onderzoek, omdat in de meeste gevallen vrijwel alle, of in ieder geval een zeer groot aantal, opdrachtgevers van een provider zijn geïnterviewd. In de meeste gevallen zijn per provider veel meer dan drie respondenten geïnterviewd. In totaal zijn 139 interviews afgenomen. Wij zijn ervan overtuigd dat dit het overgrote deel van de markt is dat een hoge knip uitbestedingscontract heeft. Het aantal respondenten is ten opzichte van 2019 met 4% afgenomen.
Om de betrouwbaarheid en representativiteit van het onderzoek te vergroten, is de provider performance score voor een gering deel gebaseerd op de scores van voorgaande jaren.
Aantal respondenten per jaar.
Respondenten verdeeld naar uitbestedingsvormen.
Respondenten verdeeld naar sector.
Providers opgenomen in het onderzoek
Vrijwel alle Nederlandse providers die actief zijn op het gebied van hoge knip uitbesteding zijn opgenomen in het onderzoek. De ondergrens van minimaal drie respondenten was voor slechts een paar providers te hoog om deel te kunnen nemen aan het onderzoek. Uiteindelijk zijn de volgende providers opgenomen in het onderzoek:
- Arrange Integrated
- Ballast Nedam Asset Management
- BAM FM
- CBRE Global Workplace Solutions Nederland (CBRE GWS)
- D&B The Facility Group
- ENGIE Services
- Eurest Services
- Facilicom Solutions
- Flexim Netherlands
- Heijmans Utiliteit B.V.
- HEYDAY Facility Management
- ISS Facility Services Nederland
- Sodexo
- Strukton Worksphere
- Yask Facility Management
Van deze providers hebben wij voldoende respondenten geïnterviewd om de provider in één of meerdere uitbestedingsvormen op te kunnen nemen.
