First TextWorld Problems: A Language and Reinforcement Learning Challenge

Organized by macote - Current server time: March 22, 2019, 6:12 p.m. UTC

Previous

Development
Dec. 8, 2018, midnight UTC

Current

Validation
Jan. 7, 2019, midnight UTC

Next

Final evaluation
June 1, 2019, midnight UTC

Getting Started

We challenge you to build an AI agent that can win simplified text-based games. Enter your submission for a chance to win $2000 USD and more in prizes (see Rules and Regulations for more details). Just follow these 6 steps!

Step 1: Register

  • Sign up for CodaLab (or Sign in if you already have an account)
  • Click the Participate tab, accept the terms and conditions, and click the Register button
  • We'll approve your registration and then you'll gain access to the content on the Participate tab

Step 2: Get the Starting Kit

  • On the Participate tab, click Files, then Starting Kit
  • Extract starting_kit.zip
  • Use the Starting Kit to see example agents and to quickly start training on a small set of games

Step 3: Implement Your Agent

  • Implement your agent in custom_agent.py
  • We also provide two example agents in the starting kit:
    • Random agent: sample_submission_random.zip
    • LSTM-DQN baseline: sample_submission_lstm-dqn.zip 

Step 4: Create a Container (optional)

Your agent will be evaluated in an environment without internet access. If your agent has additional dependencies, you will need to make a new Docker image for it. You can do this by making a Dockerfile like this:

FROM tavianator/textworld-codalab

# Install any distribution packages you need
RUN apt-get install -qy ...
# Install any Python packages you need
RUN pip3 install tensorflow torch ...

Once it's ready, you'll need to push your image to Docker Hub so we can pull it for evaluation. You'll need a Docker Hub account for this:

$ docker login
Username: <docker_hub_username>
Password:
$ docker build . -t <docker_hub_username>/<image_name>
$ docker push <docker_hub_username>/<image_name>

Finally, create a file named Dockerimage that contains the name of your image. We will pull this image for running your agent.

$ echo "<docker_hub_username>/<image_name>" >Dockerimage

Step 5: Test Your Agent

  • Test your agent with the script test_submission.py. For example:
$ python test_submission.py path/to/submission path/to/games
  • It requires the Docker image you created in Step 4 (otherwise, the default Docker image from the starting kit will be used), as well as the Python dependencies specified in requirements.txt.

Step 6: Submit Your Agent

  • Pack up your agent into a .zip archive. It should contain at the root (not in any subdirectory):
    • custom_agent.py (and any other source files it depends on)
    • metadata
    • Dockerimage - the one you created in Step 4 (optional)
    • Any other code or data necessary for running your agent in inference mode
  • Under the Participate tab, click Submit / View Results. When you click Submit, it will prompt you to upload the .zip.

 

Refer to the Submission details for more details on each of these steps.

First TextWorld Problems: A Reinforcement and Language Learning Challenge

The goal of this competition is to build an AI agent that can play efficiently and win simplified text-based games. We hope to highlight the limitation of existing Reinforcement Learning models when combined with Natural Language Processing. Therefore, any agent that doesn't show learning behaviors will be penalized. Enter your submission for a chance to win $2000 USD and more in prizes (see Rules and Regulations for more details).

The agent must navigate and interact within a text environment, i.e. the agent perceives the environment through text and acts in it using text commands. The agent would need skills like:

  • language understanding
  • dealing with a combinatorial actions space
  • efficient exploration
  • memory
  • sequential decision-making

In this competition, all the games share a similar theme (cooking in a modern house), similar text commands, and similar entities (i.e. interactable objects within the games). To better understand the games, check out the Jupyter notebook found in the starting kit.

The simplified games were generated using TextWorld. TextWorld is an open-source framework that both generates and interfaces with text-based games. You can use TextWorld to train your agents.

Latest updates

Last updated March 20, 2019

Discussion Session - Thursday, March 21st

Join the discussion session on Gitter at https://gitter.im/Microsoft/TextWorld on Thursday, March 21st, from 1 pm to 2 pm EST. The Microsoft Research TextWorld team will be available to discuss any questions you have.

GPU Support

Your submission may now use a GPU. See Submission Details for more details.

Updated Starting Kit

  • test_submission.py - now only takes two arguments: your submission zip file and the path to a games folder
  • Dockerimage for the lstm-dqn example - it now uses marccote19/tw-lstm-dqn:cuda
  • Dockerfile for the lstm-dqn example - it now builds on top of the tavianator/textworld-codalab docker image which has CUDA support

Subgoals

We are introducing some subgoals for you to aim for.

This month's subgoals are:

  • reaching a score of 7500 with any handicap
  • reaching a score of 750 with a handicap of 4 or less
  • reaching a score of 750 with a handicap of 3 or less
  • reaching a score of 750 with a handicap of 2 or less
  • reaching a score of 750 with a handicap of 1 or less
  • reaching a score of 750 with no handicap

Submission Timeout

The timeout has been fixed to 6 hours.

Evaluation

The evaluation is done by letting the submitted agent play a set of hidden text-based games and reporting the adjusted score (see below). Those games are distinct from the ones seen during training. Each game will be played for 10 episodes for a maximum of 100 steps per episode. As a reference, the test_submission.py file from the starting kit contains the evaluation procedure.

With this competition, we hope to highlight the limitation of existing Reinforcement Learning models when combined with Natural Language Processing. Therefore, any agent that doesn't show learning behaviors will be penalized. Participants should not be hand coding their agent's decision-making process, nor injecting prior knowledge they (the participants) have extracted while looking/playing with the training games. That said, generic prior knowledge such as pre-trained word embeddings or information extracted by playing other text-based games is allowed.

Handicap

Text-based games pose numerous challenges to learning agents: text understanding, entities recognition, large action space, etc. To make this competition more approachable, we added the notion of handicap. In addition to the game's textual feedback, an agent can request additional information for playing the games. However, doing so incurs a penalty which depends on the type of information requested. An agent's handicap is defined as the highest handicap number associated with the requested information:

  • Handicap 0: Feedback only;
  • Handicap 1: Output of the look and inventory commands;
  • Handicap 2: Verbs, commands templates;
  • Handicap 3: Entities;
  • Handicap 4: Recipe;
  • Handicap 5: Admissible commands.

NB: while more type of information is typically available, only what is mentioned in the above list can be requested during the evaluation.

Hidden games

The games used for the evaluation (validation and final evaluation phases) are new games drawn from a similar distribution as the one used to generate games for the training set. This means there won't be any new actions/commands, styles of writing, or object attributes that affect how they can be interacted with. However, there will be new food items, new recipes, and new world layouts. For instance, during training, the agent might have encountered 'red pepper and yellow apple' and a test time it might see a 'yellow pepper' (i.e. new adjective-noun pair) or a completely new food like "Bird's Eye Chiles". For convenience, we made sure vocab.txt (shipped within the starting kit) also contains the words of the hidden games.

Leaderboard results

Score: Total number of points accumulated while playing all the games.

Moves: Total number of commands that were sent to the game interpreter (the lower, the better).

Adjusted score: Total score weighted by some factor defined according to the agent's handicap. The factor (%) is given by the following chart.

Adjusted score

MICROSOFT CANADA INC.

FIRST TEXTWORLD PROBLEMS: A REINFORCEMENT AND LANGUAGE

LEARNING CHALLENGE

 

OFFICIAL COMPETITION RULES

 1.     ELIGIBILITY:  To be eligible, you must have reached the age of 18 years at the time of entry.  You are not eligible to win a prize if you are: (a) an employee or contingent staff of Microsoft Corporation or Microsoft Canada Inc. (together, “Microsoft” or “Sponsors”), their affiliated companies, advertising agencies, prize suppliers or other representatives involved in any part of the administration and execution of this contest; or, (b) a member of the immediate family of any of the above persons.  “Immediate family” is defined as parents, siblings, children, spouse or common law partner regardless of where they live.  In addition, Microsoft is committed to complying with government gift and ethics rules and therefore government employees are eligible to participate but are not eligible to win the cash portion of the prize. 

2.     HOW TO ENTER:  No purchase necessary.  The contest will begin at 12:00:01am Eastern Time (“ET”) on December 8, 2018 and end at 11:59:59pm ET on May 31, 2019 (the “Contest Period”). 

To enter, go to aka.ms/textworld-challenge (“Challenge Website”) and click on the Participate tab.  Follow the instructions to create your agent (“Agent”) that will be able to play several similar TextWorld-generated games. Training data is available in the Participate tab and participants may use TextWorld (aka.ms/textworld) or any other reinforcement learning framework to train Agents.  Entrants will have the opportunity to continue to work on and improve their Agents throughout the Contest Period.  You may enter as an individual or as a team of a maximum of five (5) people (collectively a “Team”, individually a “Team Member”).  Each submission is considered one (1) Entry.

There is a limit of one (1) Entry per person and/or Team per day throughout the Contest Period, regardless if entering as an individual or as part of a Team.  Entries must be received by the end of the Contest Period.  The final Agent submitted prior to the end of the Contest Period will be considered the final Entry for evaluation purposes for a chance to win.  Incomplete or late entries will not be accepted. Microsoft takes no responsibility for illegible, incomplete, lost, late, destroyed or misdirected entries, which will be void.

3.     PRIZE:  There is one (1) prize available to be won consisting of $2,000USD.  Winner will also receive a one (1) hour Skype meeting with a Microsoft Researcher (the “Meeting”) to be arranged at a mutually convenient time and will be mentioned in the Microsoft Research Blog and newsletter (the “Communications”).   Government employees are not eligible to win the cash portion of the prize.

If a Team wins the prize, the cash portion of the prize will be divided equally among all Team Members (with the exception of any Government employees) and all Team Members will participate together in the Meeting and the Communications.  If the Meeting cannot be arranged at a mutually convenient time with an individual winner or amongst all Team Members within six (6) months of being declared a winner, the Meeting portion of the prize will be forfeited.  Any costs or expenses not specifically identified here as included are the responsibility of the winner.

Limit: one (1) prize per person or Team.  Prizes are not transferable and must be accepted as awarded with no substitutions, whether in cash or otherwise, except at Sponsors’ sole discretion. Sponsors reserve the right to substitute a prize of equivalent value if a prize cannot be awarded as described for any reason.  Sponsor will not be responsible, however, if weather conditions, event cancellations, technical issues or other factors beyond Sponsor’s reasonable control prevent any portion of the prize from being fulfilled.  In any such event, a winner will not be provided with a substitute prize or cash equivalent.

Prize will be delivered to the verified winner or winning Team Members. Please allow eight (8) weeks for delivery.  Return of any prize/prize notification as undeliverable may result in disqualification and selection of an alternate winner.

4.     WINNER SELECTION:   Entries will be evaluated based on the following:  (a) Actual Score:  how well the Agent performs on a hidden set of games (“Games”) that Microsoft has generated from TextWorld (“Evaluation Set”).  The Agent will score points (“Actual Score”) in the Game for performing the right actions needed to complete the Game. (b) Adjusted Score: Points will be deducted from the Actual Score based on the use of admissible commands.  Adjusted Scores will be displayed on a Leaderboard throughout the Contest Period; and (c) Prior Knowledge Assessment:  A subjective evaluation by Sponsor or a judging panel appointed by them will be conducted at their sole discretion to determine the amount of prior knowledge used.  The less prior knowledge used, the greater the chance of winning.  

The submission with the best performing Agent, as determined by the Actual Score, Adjusted Score and the Prior Knowledge Assessment will be eligible to win.  In the event of a tie, the entrant whose Agent requires the least number of moves throughout the Game will be eligible to win.  If a tie still exists, the Sponsor reserves the right at its sole discretion to select the winner from the tied finalists based on the quality of the Agent. The final decision based on the Evaluation Set will be determined on or around June 5, 2018 at 1:00pm ET at 2000 av McGill College, Montreal, Quebec H3A 3A3.

The odds of winning depend upon the number of eligible entries received and how well the Agent performs compared to other Entries.  If the selected entrant cannot be reached by telephone within 14 days of the end of the Contest Period, or otherwise does not meet all contest requirements, the prize will be forfeited and may be awarded to an alternate entrant.

5.     RELEASES:  By entering, you agree to release and hold harmless the Sponsors, their advertising and promotional agencies, the affiliates of the foregoing and all of their respective directors, officers, owners, partners, employees, agents, representatives, successors and assigns (collectively the “Releasees”) from any liability in connection with this Contest or, should you be a winner, the Prize.  Before being declared a winner, you will be required to sign, and return within the time stipulated in the documents, a Declaration of Compliance with the Contest Rules and a full Liability and Publicity Release.  By accepting the prize, the winner consents to the use of their name, city and/or province of residence, photograph, voice, image, likeness, biographical information and information about the prize, for any publicity or programming purposes, commercial or otherwise, throughout the world in any and all media used by Microsoft and its advertising and promotional agencies in connection with the contest, without payment or compensation.  The personal information collected in connection with the administration of this contest will be managed in accordance with Microsoft’s privacy statement which is available at http://go.microsoft.com/fwlink/?LinkId=521839

6.     LIMITATIONS OF LIABILITY:  Without limiting the release provided in Paragraph 5 above, and for greater certainty, Releasees will not be liable for: a) any incomplete or inaccurate information, whether caused by website users or by any equipment or programming associated with or utilized in the Contest, or by any technical or human error which may occur in the processing of entries; b) the theft, destruction or unauthorized access to, or alteration of, entries; c) any problems with, or technical malfunctions of, telephone networks or lines, computer on-line systems, servers or providers, computer equipment, software, viruses or bugs;  d) any failure of any e-mail to be received by or from Sponsors for any reason including but not limited to traffic congestion on the Internet or at any website or combination thereof; or e) damage to a participant’s or other person’s system occasioned by participation or downloading of materials in this Contest.

7.     RIGHT TO TERMINATE, SUSPEND OR AMEND: Subject to obtaining the approval of the Régie des alcools, des courses et des jeux for the province of Quebec, Sponsors reserve the right to terminate, suspend or amend this Contest, in whole or in part, at any time without prior notice, if any factor interferes with its proper conduct as contemplated by these Official Rules.

8.     MISCELLANEOUS: Entrants who have not complied with these Official Rules are subject to disqualification from this Contest and any future contest or other promotion conducted by Sponsors.  All decisions of Sponsors and the contest judging organization, as the case may be, are final and binding in all matters relating to this Contest. No correspondence will be entered into except with selected entrants.  Contest is subject to all applicable federal, provincial and municipal laws. Void where prohibited.  If, as a result of an error relating to the entry process, drawing or any other aspect of the contest, there are more potential winners of prizes than contemplated in the contest rules, there will be a random draw amongst all eligible prize claimants after the contest closing date to award the prize.

In the event of a dispute regarding who submitted an online entry, the entry will be deemed submitted by the authorized account holder of the e-mail address submitted at the time of entry. “Authorized account holder” is defined as the natural person who is assigned to an e-mail address by an Internet access provider, online service provider or other organization that is responsible for assigning e-mail addresses for the domain associated with the submitted e-mail address.  A selected entrant may be required to provide Sponsors with proof that he/she is the authorized account holder of the e-mail address associated with the selected entry. Anyone found to be using multiple accounts to enter will be disqualified.

Sponsors reserve the right at their sole discretion to disqualify, from this Contest and any future Contest or other promotion conducted by Sponsors, any individual that they find or believe to be tampering with the entry process or the operation of the Contest or Contest Website; to be acting in violation of the Official Rules or in an unsportsmanlike or disruptive manner, using a brute-force approach, or with intent to annoy, abuse, threaten or harass any other person.  ANY ATTEMPT BY AN ENTRANT OR ANY OTHER PERSON TO DELIBERATELY DAMAGE ANY WEBSITE OR UNDERMINE THE LEGITIMATE OPERATION OF THE CONTEST IS A VIOLATION OF CRIMINAL AND CIVIL LAWS AND SHOULD SUCH AN ATTEMPT BE MADE, SPONSOR RESERVES THE RIGHT TO SEEK DAMAGES FROM ANY SUCH PERSON TO THE FULLEST EXTENT PERMITTED BY LAW.

9.     QUEBEC RESIDENTS: Any litigation respecting the conduct or organization of a publicity contest may be submitted to the Régie des alcools, des courses et des jeux for a ruling.  Any litigation respecting the awarding of a prize may be submitted to the Régie only for the purpose of helping the parties reach a settlement.

10.  PRECEDENCE:  In the event of any discrepancy or inconsistency between these Official Rules and other statements contained in any contest-related materials, including but not limited to the contest entry form, point of sale, television, print or online advertising, these Official Rules shall prevail, govern and control.

 

MICROSOFT CANADA INC.

 

LES PREMIERS PROBLÈMES DE TEXTWORLD : UN DÉFI DE RENFORCEMENT ET D'APPRENTISSAGE DES LANGUES

RÈGLEMENT OFFICIEL DE LA COMPÉTITION

1. ADMISSIBILITÉ : Pour être admissible, vous devez avoir atteint l’âge de 18 ans au moment de votre participation. Vous n’êtes pas admissible pour gagner un prix si vous êtes : (a) un employé ou membre du personnel contractuel de Microsoft Corporation ou de Microsoft Canada inc. (ensemble, « Microsoft » ou « Commanditaires »), leurs sociétés affiliées, agences de publicité, fournisseurs de prix ou autres représentants impliqués dans toute partie de l’administration et de l’exécution de ce concours ; ou, (b) un membre de la famille immédiate de l’une de ces personnes. La « famille immédiate » est constituée des parents, des frères et sœurs, des enfants, du conjoint (y compris un conjoint de fait) d’une personne, peu importe où ils vivent. De plus, Microsoft s’engage à respecter les règles gouvernementales en matière de cadeaux et d’éthique et, par conséquent, les employés du gouvernement peuvent participer, mais ne sont pas admissibles à gagner la partie en argent du prix. 

2. COMMENT PARTICIPER : Aucun achat requis. Le concours débutera à 00 h 00 min 01, heure de l’Est (« HE »), en date du 8 décembre 2018 et se terminera à 23 h 59 min 59 s, HE, en date du 31 mai 2019 (la « Période du concours »).

Pour participer, rendez-vous au aka.ms/textworld-challenge (« Site-Défi ») et cliquez sur l’onglet « Participer ». Suivez les instructions afin de créer votre agent (« Agent ») qui pourra jouer à plusieurs jeux similaires générés par TextWorld. Les données de formation sont disponibles dans l'onglet « Participer » et les participants peuvent utiliser TextWorld (aka.ms/textworld) ou tout autre cadre d'apprentissage par renforcement pour former des Agents.  Les participants auront l'occasion de continuer à travailler et à améliorer leurs Agents pendant toute la Période du concours. Vous pouvez vous inscrire en tant qu’individu ou en tant qu’équipe d’un maximum de cinq (5) personnes (collectivement une « Équipe », individuellement un « Membre de l'équipe »).  Chaque soumission est considérée comme une (1) Participation.

Il y a une limite d’une (1) participation par personne et/ou par Équipe par jour pendant toute la Période du concours, que ce soit en tant qu'individu ou en tant que membre d'une Équipe.  Les participations doivent être reçues avant la fin de la Période du concours. L'Agent final soumis avant la fin de la Période du concours sera considéré comme la Participation finale aux fins d'évaluation afin d’avoir une chance de gagner. Les participations incomplètes ou tardives ne seront pas acceptées. Microsoft n’assume aucune responsabilité pour les participations illisibles, incomplètes, perdues, en retard, détruites ou mal acheminées, qui seront annulées.

3. PRIX :  Il y a un (1) prix à gagner consistant en un montant de 2 000 $US. Le gagnant recevra également une réunion Skype d'une (1) heure avec un Chercheur Microsoft (la « Réunion ») qui sera organisée à un moment mutuellement convenu et qui sera mentionnée dans le Blog et l’infolettre de Microsoft Research (les « Communications »).  Les employés du gouvernement ne sont pas admissibles à gagner la portion en argent du prix.

Si une équipe gagne le prix, la portion en argent du prix sera divisée également entre tous les Membres de l'équipe (à l'exception des employés du gouvernement) et tous les Membres de l'équipe participeront ensemble à la Réunion et aux Communications. S'il est impossible d'organiser la Réunion à un moment mutuellement convenu avec un gagnant individuel ou entre tous les Membres de l'équipe dans les six (6) mois suivant la date à laquelle ils ont été déclarés gagnants, la portion du prix relative à la Réunion sera annulée. Tous les frais ou dépenses qui ne sont pas spécifiquement identifiés ici comme inclus sont à la charge du gagnant.

Limite : un (1) prix par personne ou par Équipe. Les prix ne sont pas transférables et doivent être acceptés tels quels, sans aucune substitution, en espèces ou autrement, sauf à la seule discrétion des Commanditaires. Les Commanditaires se réservent le droit de substituer un prix de valeur équivalente si un prix ne peut être attribué tel que décrit pour quelque raison que ce soit. Toutefois, le Commanditaire ne sera pas responsable si les conditions météorologiques, les annulations d’événements, des problèmes techniques ou d’autres facteurs indépendants de sa volonté empêchent l’attribution d’une quelconque portion du prix. Dans un tel cas, le gagnant ne recevra pas de prix de remplacement ou d’équivalent en espèces.

Les prix ne seront livrés qu’au gagnant ou Membres de l’équipe gagnante vérifiés. Veuillez prévoir huit (8) semaines pour la livraison. Le retour d’un prix ou d’un avis d’attribution de prix comme non livrable peut entraîner la disqualification et la sélection d’un autre gagnant.

4. SÉLECTION DES GAGNANTS : Les Participations seront évaluées en fonction des critères suivants : (a) Score réel : les performances de l'Agent dans un ensemble de jeux cachés (« Jeux ») que Microsoft a généré à partir de TextWorld (« Ensemble d’évaluation »).  L'agent marquera des points (« Score réel ») dans le jeu pour avoir effectué les bonnes actions nécessaires afin de terminer le jeu. (b) Score ajusté : Des points seront déduits du Score réel en fonction de l'utilisation de commandes admissibles.  Les Scores ajustés seront affichés sur un Tableau de classement tout au long de la Période du concours ; et (c) Évaluation des connaissances antérieures :  Une évaluation subjective par le Commanditaire ou un jury désigné par lui sera effectuée à sa seule discrétion afin de déterminer la quantité de connaissances préalables utilisées.  Moins il y a utilisation de connaissances préalables, plus les chances de gagner sont grandes.

La soumission avec l'Agent le plus performant, tel que déterminé par le Score réel, le Score ajusté et l'Évaluation des connaissances antérieures, sera éligible pour gagner. En cas d'égalité, le participant dont l’Agent a besoin du moins grand nombre de coups tout au long du Jeu sera éligible pour gagner. S'il y a toujours égalité, le Commanditaire se réserve le droit, à sa seule discrétion, de choisir le gagnant parmi les finalistes ex aequo en fonction de la qualité de l'Agent. La décision finale fondée sur l'Ensemble d'évaluation sera prise le ou vers le 5 juin 2018 à 13 h HE au 2000 avenue McGill College, Montréal (Québec) H3A 3A3.

Les chances de gagner dépendent du nombre de participations admissibles reçues et du rendement de l'Agent par rapport aux autres Participations. Si le participant sélectionné ne peut être joint par téléphone dans les 14 jours suivant la fin de la Période du concours ou s’il ne répond pas à toutes les exigences du concours, le prix sera annulé et pourra être attribué à un autre participant.

5. DÉGAGEMENT DE RESPONSABILITÉ : En participant, vous acceptez de dégager et de tenir quitte et indemne de toute responsabilité les Commanditaires, leurs agences de publicité et de promotion, leurs sociétés affiliées et tous leurs administrateurs, dirigeants, propriétaires, partenaires, employés, agents, représentants, successeurs et ayants droit respectifs (collectivement les « Renonciataires ») en ce qui concerne le concours ou, si vous êtes un gagnant, le prix. Avant d’être déclaré gagnant, vous devrez signer et retourner, dans le délai stipulé dans les documents, une Déclaration de conformité au règlement du concours et une Décharge complète de responsabilité et de publicité. En acceptant le prix, le gagnant consent à ce que son nom, sa ville et/ou sa province de résidence, sa photographie, sa voix, son image, sa ressemblance, ses renseignements biographiques et les renseignements sur le prix soient utilisés à des fins publicitaires ou de programmation, commerciales ou autres, partout dans le monde, dans tous les médias utilisés par Microsoft et ses agences de publicité et de promotion en lien avec le concours, sans paiement ni rémunération. Les renseignements personnels recueillis dans le cadre de l’administration de ce concours seront gérés conformément à la déclaration de confidentialité de Microsoft, disponible à l’adresse suivante http://go.microsoft.com/fwlink/?LinkId=521839

6. LIMITATIONS DE RESPONSABILITÉ : Sans limiter le dégagement de responsabilité prévu au paragraphe 5 ci-dessus, et pour plus de certitude, les Renonciataires ne seront pas responsables de : a) toute information incomplète ou inexacte, qu’elle soit causée par les utilisateurs du site Web ou par tout équipement ou programmation associé au Concours ou utilisé dans le cadre du Concours, ou par toute erreur technique ou humaine pouvant survenir dans le traitement des participations ; b) le vol, la destruction, l’accès non autorisé ou la modification des bulletins de participation ; c) tout problème ou dysfonctionnement technique des réseaux ou lignes téléphoniques, systèmes informatiques, serveurs ou fournisseurs, équipements informatiques, logiciels, virus ou bogues ;  d) l’impossibilité pour les Commanditaires de recevoir des courriels pour quelque raison que ce soit, y compris, mais sans s’y limiter, la congestion de la circulation sur Internet ou sur tout site Web ou une combinaison des deux ; ou e) les dommages causés au système du participant ou d’une autre personne par la participation ou le téléchargement de matériel dans le cadre de ce Concours.

7. DROIT DE METTRE FIN, DE SUSPENDRE OU DE MODIFIER: Sous réserve de l’obtention de l’approbation de la Régie des alcools, des courses et des jeux pour la province de Québec, Les Commanditaires se réservent le droit de mettre fin, de suspendre ou de modifier ce Concours, en tout ou en partie, en tout temps et sans préavis, si un facteur quelconque nuit à sa bonne conduite telle qu’elle est prévue dans le présent Règlement officiel.

8. VARIA: Les participants qui ne se sont pas conformés au présent Règlement officiel peuvent être disqualifiés de ce concours et de tout autre concours ou promotion futur organisé par les Commanditaires. Toutes les décisions des Commanditaires et de l’organisme qui juge le concours, selon le cas, sont finales et exécutoires pour tout ce qui a trait à ce Concours. Aucune correspondance ne sera échangée, sauf avec les participants sélectionnés. Le Concours est assujetti à toutes les lois fédérales, provinciales et municipales applicables. Il est nul là où la loi l’interdit.  Si, à la suite d’une erreur relative au processus de participation, au tirage ou à tout autre aspect du concours, il y a plus de gagnants potentiels de prix que prévu dans le règlement du concours, il y aura un tirage au sort parmi tous les réclamants admissibles après la date de clôture du concours pour attribuer le prix.

En cas de litige concernant l’identité de la personne qui a soumis une participation en ligne, la participation sera réputée avoir été soumise par le titulaire autorisé du compte de l’adresse électronique soumise au moment de la participation. Le « titulaire autorisé du compte » est la personne physique à qui une adresse électronique est attribuée par un fournisseur d’accès Internet, un fournisseur de services en ligne ou une autre organisation responsable de l’attribution des adresses électroniques pour le domaine associé à l’adresse électronique soumise.  Un participant sélectionné peut être tenu de fournir aux Commanditaires la preuve qu’il est le titulaire autorisé du compte de l’adresse électronique associée à la participation sélectionnée. Toute personne qui utilise plusieurs comptes pour participer sera disqualifiée.

Les Commanditaires se réservent le droit, à leur seule discrétion, de disqualifier, du présent Concours et de tout Concours futur ou de toute autre promotion menée par les Commanditaires, toute personne, s’ils savent ou croient qu’elle a trafiqué le processus de participation ou le fonctionnement du concours ou du site Web du concours ; si elle agit en violation du Règlement officiel, ou d’une manière antisportive, nuisible ou en utilisant une approche de force brute, ou dans l’intention de déranger, de malmener, d’intimider ou de harceler une autre personne. TOUTE TENTATIVE PAR UN PARTICIPANT OU TOUTE AUTRE PERSONNE D’ENDOMMAGER DÉLIBÉRÉMENT UN SITE WEB OU DE NUIRE AU DÉROULEMENT LÉGITIME DU CONCOURS CONSTITUE UNE VIOLATION DES LOIS CRIMINELLES ET CIVILES ET, SI UNE TELLE TENTATIVE EST FAITE, LE COMMANDITAIRE SE RÉSERVE LE DROIT DE DEMANDER DES DOMMAGES-INTÉRÊTS À CETTE PERSONNE DANS TOUTE LA MESURE PERMISE PAR LA LOI.

9. RÉSIDENTS DU QUÉBEC: Tout litige concernant la conduite ou l’organisation d’un concours publicitaire peut être soumis à la Régie des alcools, des courses et des jeux afin qu’il soit tranché. Tout litige concernant l’attribution d’un prix peut être soumis à la Régie uniquement dans le but d’aider les parties à parvenir à une entente.

10. PRÉSÉANCE : En cas de divergence ou d’incompatibilité entre le présent Règlement officiel et d’autres énoncés contenus dans tout matériel lié au concours, y compris, mais sans s’y limiter, le formulaire de participation au concours, le point de vente, la publicité télévisée, imprimée ou en ligne, ce Règlement officiel prévaudra, régira et contrôlera.

Development

Start: Dec. 8, 2018, midnight

Description: The training set is available. Participants can submit their trained agent to get a score on a *small subset* of the training set.

Validation

Start: Jan. 7, 2019, midnight

Description: Submit you best trained agent to get a score on our hidden validation set. Use the Detailed Results to refine your agent.

Final evaluation

Start: June 1, 2019, midnight

Description: The *latest submitted* agent of each participant is evaluated on a hidden test set to obtain the final scoring.

Competition Ends

May 31, 2019, 11:59 p.m.

You must be logged in to participate in competitions.

Sign In
# Username Score
1 pedrolima 3719.5
2 juharris 2212.0
3 leox1v 911.0