PERF' - Deck Tier Rotation

Aujourd'hui, j'écris cet article pour vous partager et mettre en lumière le Processus de rotation des archétypes Tiers 1/2 au sein de PERF', qui peut s'avérer parfois frustrant pour certains, de voir leur archétype qu'ils jouent actuellement se faire archiver (le salon dédié est mis alors en "lecture seule"), n'autorisant plus les questions ou propositions d'amélioration.

La méthode de sélection

La règle

Je vais citer ici Fabrice de PERF', qui définit la méthode de sélection pour définir le Tier des archétypes:

Pour rappel, on agrège les résultats de tournois des 2 dernières semaines. Sur cette base, tous les decks avec un taux de présence supérieur à 15% sont Tier 1, tous les decks avec au moins 3% de présence sont Tier 2, les autres sont alors Tier 3. Ce dernier Tier, listé dans le snapshot hebdomadaire, n'existe qu'à titre purement indicatif.

Les tournois retenus pour le calcul

Les tournois retenus pour la méthode de calcul sont les suivants:

On commence par faire la liste des tops 8 tous les tournois à 2 et 3 étoiles sur mtgtop8.com. (Dans les cas des MC on prend uniquement les meilleurs decks sur les rondes de standard, à hauteur de 80% de WR, pour éviter les biais introduit par les résultats sur les drafts).

D'autres sources sont ou seront utilisées pour compléter cette liste de tournois, ainsi que valider les informations de mtgtop8.com (comme par exemple mtgdecks.net)

Pourquoi pas inclure plus de tournois (plus petits par exemple) ?

Ce qui va suivre n'est que mon opinion, en tant qu'amoureux des chiffres et statistiques.

Si on multiplie les sources ou que l'on augmente le nombre de tournois pour y inclure des plus petits, on augmente le risque de voir apparaître des archétypes de moindre importance. Car statistiquement, dans un petit ensemble, la probabilité de voir un deck moyen performer augmente.

En effet, sur un tout petit tournois, le nombre de match joués sera moindre, et la variance (ou chance) et la qualité d'un joueur pourront faire en sorte qu'il fasse un résultat exceptionnel sur ce tournois.

Un exemple concret que l'on pourrait voir sur le ladder Arena: Qui n'a jamais eu un série de 5 ou 6 victoires (peu importe à quel rang) avec un deck ? Si on isole cette série, le résultat serait alors positif pour le deck. Pourtant on pourrait enchaîner avec une série négative qui donnerait un winrate global négatif.

Plus le tournois est conséquent, plus la variance ("chance" & "malchance") seront lissés au niveau des résultats, c'est mathématique. Il est donc préférable de privilégier les événements les plus importants (en terme de joueurs).

Un autre aspect plus pragmatique est que ça demande du temps de récupérer ces données et de les vérifier. Ce point est donc aussi à prendre en considération.

Pourquoi ne pas inclure le top 8 ladder Arena ?

Ce qui va suivre n'est que mon opinion encore une fois.

Pour ce qui est du ladder d'Arena, il est relativement difficile d'en extraire quelque chose. Prendre le top 8 n'aurait par forcément de sens. Le ladder est volatil, évolue très vite, dépend de ce qui est joué à un instant T.

Cela pourrait même être contre productif. Voici un exemple (purement fictif):

Imaginons que Crokeyz joue un deck Mono Red pendant 1 semaine, et qu'il monte dans le Top 20 du ladder. Cependant, il en a un peu ras-le-bol du deck car il ne rencontre actuellement que des mirror, et décide de jouer un nouveau deck qu'il a monté, et qui à un très bon match-up contre Mono Red. Il effectue 3 match avec 3 victoires, et se retrouve dans le Top 8 ladder avec ce deck. On effectue à ce moment un "snapshot" du Top 8 du ladder. On pourrait se retrouver donc avec ce deck dans la selection de deck "recommandé" par PERF', alors qu'il pourrait n'être bon que contre Mono-Red (et finalement avec peu d'info dessus)

La volonté derrière cette méthode

La synthèse de cette volonté ce retrouve dans cette citation de Rémi Fortier.

C'est un parti pris et j'en conviens : de fait quand tu prends un des meilleurs decks et que tu le rends meilleur, tes chances d'être « à côte de la plaque » sont faibles voir nulles.

Et aussi ce que cela apporte:

Je perçois aussi le bénéfice de cette protection qu'offre Perf'. On met toute notre intelligence au service de la qualité du processus de rotation des decks afin qu'il soit le plus robuste possible. On s'interroge sur la qualité de la data, son volume, notre manière de la traiter. Au final, le résultat est sûrement le plus solide qu'il existe dans magic tout court. Personne ne va aussi loin. Ainsi, en tant qu'utilisateur, ça me permet de prêter du crédit au résultat. ça veut dire aussi qu'il faut savoir gagner en mobilité pour savoir vadrouiller entre les archétypes, dépasser les préférences personnelles d'archétypes et aussi, faire le deuil d'archétypes qu'on aime bien parfois. ça a un coup émotionnel mais le résultat vaut le coup

"Archivage" d'un archétype

Est-ce une bonne chose ?

Après réflexion, je pense que oui. En effet, quelqu'un qui arriverait sur PERF', ou qui ne serait pas encore décidé sur un deck à jouer, pour une échéance proche pour un tournois majeur, je pense qu'il est important de lui signaler qu'un archétype n'est pas mature, et qu'il devrait se tourner vers un autre archétype.

C'est un signal très fort, peut-être injuste et frustrant pour ceux qui ont travaillé sur un archétype qui est archivé. Néanmoins, cela reste en accord, et surtout contribue peut-être plus grandement à ce que représente PERF', c'est à dire permettre à tous les joueurs de mettre le maximum de "chance" de leur coté pour PERF'er sur le prochain event majeur.

Le cas "Bant Ramp / Control"

Dernièrement, un archétype semblait émerger, et relativement prometteur: Bant Ramp / Control. Un gros travail sur le channel dédié était fourni, des centaines de messages en plusieurs semaines, et même une très bonne synthèse de Val & PL (voir ici Bant Ramp / Control).

Cet archétype est un peu passé sous les radars des premiers résultats en tournois. Par conséquent il subit la rotation, comme les autres. Hors l'émulation sur cet archétype était énorme. On peut alors penser avoir atteint ici une limite du système actuel de PERF'.

Est-ce que l'archétype devait subir la rotation aussi ?

Au regard de ce qui a été dit au dessus, oui. Pour un nouvel arrivant / quelqu'un d'indécis, qui souhaite réussir son prochain tournois, je pense que se baser sur un deck stable et qui a déjà prouvé sont efficacité, c'est primordial. Cela lui laissera le temps d'appréhender le deck, de se faire une expérience, et d'apprendre des autres sur une decklist qui a déjà fait ses preuves.

Mais pour ceux qui voulaient jouer le deck et continuer à s'investir, c'est très probablement une frustration, que j'ai pu moi même ressentir (alors que je ne joue pas cet archétype). Il me plaisait terriblement.

Est-ce la fin de "Bant Ramp / Control" ?

Ce n'est pas parce qu'il a été "archivé", en se basant sur la méthode de calcul de PERF' que c'est un deck à jeter pour autant. Toute personne qui s'est investi sur le sujet, ou bien qui pense que cet archétype à de l'avenir peut tout à fait le jouer et continuer à travailler dessus dans son coin. Il n'y a juste plus de support "public" via le channel ouvert (l'archivage du channel lui donne un accès "lecture" seulement).

L'archive du channel de Bant dans PERF' n'est juste qu'un signal pour dire: "attention, n'entraînez pas les autres dans votre choix, et n'incitez pas les autres à jouer cet archétype qui n'est probablement pas mature." Si cependant, votre conviction est que ce deck peut performer, allez-y. Vous êtes juste prévenu que ce n'est probablement pas le meilleur choix à cet instant.

En conclusion de cette partie, "Bant Ramp / Control" n'est pas mort, il n'est juste actuellement pas recommandé par une méthode de sélection des Tiers assez robuste. Si une performance était notée lors d'un event majeur prochain, il reviendrait, et on pourrait à nouveau bosser sur cet archétype, avec un nouveau signal: "ce deck à du potentiel, allez-y".

Les pistes d'amélioration (de la sélection)

La solution de sélection des archétypes Tiers est aujourd'hui statistique. Elle se base en effet sur des données, comme vu précédemment.

Hors, pour affiner des statistiques et les rendre plus fiable, il n'y a actuellement qu'un moyen:

• Avoir plus de données (toujours qualitatives) sur des sources diverses.

Arena, une source non fiable, vraiment ?

Comme je l'ai mentionné précédemment, prendre le Top 8 du ladder d'Arena ne serait probablement pas fiable.

Cependant, Arena reste un moteur pour magic et la définition du métagame. Les choses vont vite, très vite, beaucoup plus vite qu'auparavent. Par conséquent, cela pourrait tout de même être une source de données non négligeable.

Comment ? Une proposition serait d'utiliser les stats publiques d'un tracker pour suivre une liste de joueurs réguliers, afin d'analyser les performances d'archétypes. En recoupant les données, on pourrait ainsi obtenir un nombre conséquent de match-up et de % de win-rate pour ces match-up.

Exemple:

• Si 10 joueurs font chacun 2 BO3 par jours, sur 7 jours, cela donne 140 matches sur la semaine.
• 140 matches représentent ainsi jusqu'à 240 données sur les archétypes joués (joueur + adversaire)

Si on limite à 2 joueurs, qui jouent 1 journée (et qui ne se rencontrent pas):

• Joueur A (archétype Mono Red) rencontre joueurs V (archétype Azorius Control) et W (archétype Jeskai Fire)
• Joueur B (archétype Bant Ramp) rencontre joueurs X (archétype Azorius Control) et Y (archétype Temur Clover)

Au final, on a des stats (ici trop faible, mais c'est pour l'exemple) sur:

• Matchup Winrate Mono-Red
• Matchup Winrate Bant Ramp
• Matchup Winrate Azorius Control
• Matchup Winrate Jeskaï Fire
• Matchup Winrate Temur Clover

Avantages:

• Données fraîches
• Volume potentiellement conséquent
• Au plus près des évolutions de la méta

Inconvénients:

• Nécessite un outil automatique (potentiellement complexe à développer, selon la "qualité" de la source de données)
• Dépendant de la classification du traqueur pour les archétypes
• Nécessite d'avoir une liste de joueurs régulier, utilisant le même traqueur (pour faciliter la maintenance de l'outil)

Inclure d'autres sources de résultats

Il existe peut être d'autre sources de données pour lister les résultats de tournois, afin d'augmenter le volume de données et donc la pertinence des résultats (tant que cela reste qualitatif encore une fois).

Il me semble d'ailleurs que d'autres sources ont été très récemment ajoutées, afin de recouper et/ou augmenter les données utilisées pour la méthode de calcul des rotations.

Améliorer la méthode de calcul elle même

Si le volume ne peut pas (ou plus) être augmenté, il est aussi possible d'améliorer le système de calcul actuel. Je ne connaît pas précisément, aussi mes suggestions sont peut être déjà utilisées ou erronées. Mais voici une liste de choses qui généralement permettent d'affiner des statistiques:

• Pondération en fonction du nombre d'entrées (ici nombre de joueurs sur le tournois)
• Pondération en fonction de la fraîcheur des données (les données anciennes sont moins pertinente dans une méta qui évolue vite)
• Pondération en fonction de l'enjeu (un event avec un price pool important devrait plus inciter les joueurs à avoir un archétype fiable)
• Pondération en fonction de l'expérience des joueurs (la variance sera probablement amoindri par l'expérience des joueurs)

Conclusion

La rotation est un mal nécessaire, permettant à chacun de rester focus sur les archétypes actuellement fiables, qui ont fait leurs preuves.

En effet, en archivant les archétypes qui semblent moins bons, cela nous permet d'éviter un focus sur des archétypes moins stable, de partir dans des impasses pour essayer de les faire s'adapter au métagame en place, d'être frustré d'avoir un winrate qui sera négatif...

Garder uniquement les archétypes les plus fiables incitera les joueurs indécis et les nouveaux arrivants à jouer des archétypes plus matures. Ils pourront aussi avoir des réponses de personnes qui auront pratiqués ces archétypes. Finalement tout le monde y gagne.

Et pour les archétypes en devenir, je n'ai pas de réponse magique. S'ils deviennent bon, ils seront "ré-ouverts", sinon ils resteront archivés.

Il a y a peut être un juste milieu, en ayant une section dédiée "archétypes-non-matures" qui permettrait d'avoir des archétypes qui semblent émerger / se démarquer, mais qui nécessitent encore du travail pour être optimaux (jusqu'à ce que le métagame s'adapte ou qu'une extension sorte).

Quoi qu'il en soit, vous êtes libres de jouer ce que bon vous semble, PERF' ne vous donnant qu'une (très) bonne piste de ce qui semble être le plus propice à jouer à un instant T du métagame.

PS: Re-bienvenue "Bant Ramp / Control"

Je n'au même pas eu le temps de finir de rédiger cet article, que Bant Ramp / Control faisait déjà sont retour, suite à l'intégration de nouveaux résultats.

Comme quoi, avec un peu de patience, et un peu plus de données, tout est possible!

@velkuns

• Lien du Discord PERF': Discord