In onze vorige blog stelden we dat de planningen die Smartroute maakt in de regel efficiënter zijn dan die van onze concurrenten. Waar baseren wij dat op?
Omdat onze klanten vaak reageren met “put your money where your mouth is”. Dat doen we dan ook. Wij bieden klanten standaard de mogelijkheid om vrijblijvend een planvraag door Smartroute te laten doorrekenen en deze te vergelijken met de planning die gemaakt wordt door het pakket wat op dat moment in gebruik is.
Dat hebben we inmiddels meer dan 100 keer gedaan, waardoor we inmiddels met alle pakketten die er zijn al meerdere vergelijkingen hebben gemaakt.
We proberen dat zo eerlijk mogelijk te doen, om echt appels met appels te vergelijken. Een conclusie trekken uit twee planresultaten is lastig, omdat de kwaliteit van het planalgoritme maar één van de factoren is. Wat ook speelt zijn dezelfde restricties, vergelijkbare kaartdata en vergelijkbare snelheden. Dat is complexer dan het lijkt.
Het is een wiskundig gegeven dat een optimalisatieresultaat in de regel beter wordt als er minder restricties zijn. Anders gezegd: restricties beperken per definitie de oplossingsruimte. Om een eerlijke vergelijking te maken, moeten de restricties dus hetzelfde zijn. Het gaat dan bijvoorbeeld om de toegestane tijdsduur van de ritten. De ritplanning die Smartroute genereert, moet als een geldige planning gezien worden door het pakket waarmee we vergelijken. Wat we daarom regelmatig doen, is onze planning importeren in het andere pakket, waarbij we dat toetsen. Daarmee borgen dat we met dezelfde restricties werken.
Een routeoptimalisatie-algoritme probeert de beste planning te vinden, gegeven de wegenkaart. En een wegenkaart is variabel. Enerzijds in de tijd: Oude kaartdata heeft andere wegen. Maar in de kaartdata zitten ook verkeersregels ingesloten die kunnen verschillen. Zo kan een bepaalde weg soms wel en soms niet geschikt geacht worden om over gereden te worden. Denk bijvoorbeeld aan een pont, of een weg in de stad die alleen in de ochtend voor laden en lossen gebruikt mag worden. Als de gehanteerde kaartdata verschilt, dan zal ook de planning verschillen. Het pakket wat de meeste wegen tot zijn beschikking heeft, heeft een voordeel.
Dit geldt nog meer voor snelheden. In kaartdata zijn natuurlijk maximale snelheden verwerkt, maar ook een inschatting van praktisch haalbare snelheden. En die verschillen ook in de tijd en per aanbieder van kaartdata. En ook hier geldt weer dat het planpakket die uitgaat van de hoogste rijsnelheden een voordeel heeft.
Het mooiste zou zijn als we zouden kunnen borgen dat we in de vergelijking precies dezelfde kaartdata en precies dezelfde snelheden gebruiken, maar dat is niet haalbaar. Daarom doen we het beste wat wél mogelijk is: Wij ijken de te gebruiken rijsnelheid, zodat de vergelijking eerlijk wordt.
Hoe doen we dat: We lezen het planresultaat wat door een ander pakket gegenereerd is in Smartroute in. Dan rekenen we deze ritplanning door in Smartroute zonder deze te veranderen. We variëren dan de snelheden, totdat Smartroute op precies dezelfde totale rijtijd uitkomt als het pakket waarmee we vergelijken. Dan vergelijken we appels met appels.
Met die gevonden correctie(factor) maakt Smartroute dan een eigen ritplanning. Daarmee borgen we dat verschillen in kaartdata en gebruikte snelheden gemiddeld genomen geen oorzaak van een optimalisatieverschil kunnen zijn.
Elke keer als we op deze manier benchmarken dan blijkt consequent dat Smartroute tussen de 7% en 15% efficiëntere planningen maakt dan andere pakketten.