Une fois les tests prêts, il faudrait qu'ils tournent automatiquement à chaque changement du code, et ce sur toutes les versions de Python et du framework (ici Django) supportées. L'idée étant d'avoir le résultat suivant : https://travis-ci.org/makinacorpus/django-tracking-fields

L'idée est de mettre en place ces tests, puis de les faire tourner avec tox avec toutes les versions de Python nécessaires, et enfin d'automatiser le tout avec Travis.

Pour vos tests, cela dépendra de votre projet. Dans notre cas, les tests seront lancés
avec un script runtests.py.

Tox

La configuration de Tox est assez basique. On commence par définir les versions de Python en fonction des versions de Django que l'on veut dans le tox.ini :

[tox]
envlist =
    {py27,py34,py35,py36}-django111,
    {py34,py35,py36,py37}-django20,
    {py35,py36,py37}-django21,
    {py35,py36,py37}-djangomaster

Les accolades permettent de définir plusieurs chaines d'un coup. Cette ligne :

{py35,py36,py37}-djangomaster

Équivaut à :

py35-djangomaster,
py36-djangomaster,
py37-djangomaster

Il faut ensuite configurer la commande de test ainsi que les dépendances à installer, en fonction de l'environnement de tox en cours d'execution :

[testenv]
commands = ./runtests.py
deps =
    django111: Django>=1.11,<2.0
    django20: Django>=2.0,<2.1
    django21: Django>=2.1,<2.2
    djangomaster: https://github.com/django/django/archive/master.tar.gz
    -r requirements.txt

Ainsi, lorsque py36-django111 tournera, Django>=1.11,<2.0 sera installé spécifiquement.

Nous pouvons maintenant faire tourner nos tests juste avec la commande tox !

Travis

Voyons tout d'abord la configuration du .travis.yml en détail. Nous commençons par définir le langage puis activons le cache pour pip, ce qui permet d’accélérer l'initialisation.

language: python
cache: pip

Nous avons ensuite la matrice, qui contient toutes les versions testées.

matrix:
  fast_finish: true
  include:
    - { python: "2.7", env: DJANGO=1.11 }

    - { python: "3.4", env: DJANGO=1.11 }
    - { python: "3.4", env: DJANGO=2.0 }

    - { python: "3.5", env: DJANGO=1.11 }
    - { python: "3.5", env: DJANGO=2.0 }
    - { python: "3.5", env: DJANGO=2.1 }
    - { python: "3.5", env: DJANGO=master }

    - { python: "3.6", env: DJANGO=1.11 }
    - { python: "3.6", env: DJANGO=2.0 }
    - { python: "3.6", env: DJANGO=2.1 }
    - { python: "3.6", env: DJANGO=master }

    - { python: "3.7", env: DJANGO=2.0 }
    - { python: "3.7", env: DJANGO=2.1 }
    - { python: "3.7", env: DJANGO=master }

  allow_failures:
    - env: DJANGO=master

La variable DJANGO est utilisée pour déterminer quelle version de Django installer dans tox, cela requiert un ajout dans le tox.ini :

[travis:env]
DJANGO =
    1.11: django111
    2.0: django20
    2.1: django21
    master: djangomaster

Il y a deux choses à noter dans la matrice. Nous testons sur la branche master de Django, ce qui peut évidemment échouer. Cela permet surtout d'anticiper les changements requis pour rester compatible. Nous pouvons dire que ces tests peuvent échouer en ajoutant l'option allow_failures. L'option fast_finish permet quant à elle de dire à Travis qu'il n'y a pas besoin d'attendre les tests pouvant échouer avant de déclarer si les tests sont un succès ou non.

Nous installons tox` ainsi que `tox-travis. `tox-travis` nous permet notamment d'utiliser `[travis:env]`.

install:
  - pip install tox tox-travis

Et enfin le script de test, tout simplement tox.

script:
  - tox

En bonus, la couverture

J'ai l'habitude d'utiliser coveralls pour avoir une visualisation de la couverture de tests. Il suffit de deux ajouts pour que cela fonctionne. Dans le tox.ini, on installe coverage et on fait tourner les tests avec :

[testenv]
commands = coverage run ./runtests.py
deps =
    [...]
    coverage

Et dans .travis.yml, on envoie les rapports vers coveralls en cas de succès :

after_success:
  - pip install coveralls
  - coveralls

Et voila !

Maintenant que vous êtes un pro, n'hésitez pas à mettre en place des tests dans tous vos projets.

N'hésitez-pas à aller voir nos formations sur les tests.