Stochastique

Leçon 1 : Introduction aux processus stochastiques

Article pédagogique rédigé par Parfait Nono 

Bienvenue dans cette série consacrée à l’étude des Chaînes de Markov, un outil fondamental des processus stochastiques en probabilités et en statistique.

Les chaînes de Markov permettent de modéliser des systèmes aléatoires qui évoluent dans le temps : météo, évolution d’une population, files d’attente, mouvements financiers, algorithmes d’intelligence artificielle, etc.

Avant d’étudier les chaînes de Markov elles-mêmes, nous devons comprendre le cadre général dans lequel elles apparaissent : celui des processus stochastiques.

Cette première leçon pose donc les bases théoriques essentielles.

Sommaire de la leçon

• 1. Notion de processus stochastique
  • 1.1 Définition
  • 1.2 Interprétation intuitive
  • 1.3 Exemple simple
• 2. Structure d’un processus stochastique
  • 2.1 Ensemble des temps
  • 2.2 Espace d’états
  • 2.3 Trajectoires
• 3. Classification des processus stochastiques
  • 3.1 Processus à temps discret
  • 3.2 Processus à temps continu
  • 3.3 Processus à espace d’états discret
  • 3.4 Processus à espace d’états continu
• 4. Exemples fondamentaux de processus stochastiques
  • 4.1 Marche aléatoire
  • 4.2 Processus de file d’attente
  • 4.3 Modèles de population
• Exercices corrigés
• Exercices d’application
• Conclusion

1. Notion de processus stochastique

1.1 Définition

Un processus stochastique est une famille de variables aléatoires indexées par le temps.

On le note généralement :

(X_t)_{t ∈ T}

où :

• t représente le temps
• X_t est une variable aléatoire

Chaque variable X_t décrit l’état du système au temps t.

1.2 Interprétation intuitive

Un processus stochastique décrit l’évolution aléatoire d’un phénomène dans le temps.

Exemples :

• température quotidienne
• nombre de clients dans une file d’attente
• prix d’une action en bourse
• évolution d’une population

1.3 Exemple simple

Supposons que X_t représente :

le nombre de clients dans un magasin au temps t.

• X₀ : nombre de clients à l’ouverture
• X₁ : nombre de clients une heure après
• X₂ : nombre de clients deux heures après

La suite :

(X₀, X₁, X₂, ...)

forme un processus stochastique.

2. Structure d’un processus stochastique

Un processus stochastique est défini par trois éléments essentiels.

2.1 Ensemble des temps

Le temps peut être :

Temps discret

T = {0,1,2,3,...}

Exemples :

• nombre de clients chaque heure
• météo chaque jour

Temps continu

T = [0,+∞[

Exemples :

• température à chaque instant
• position d’une particule

2.2 Espace d’états

L’espace d’états est l’ensemble des valeurs possibles du processus.

On le note généralement :

E

Processus	Espace d’états
nombre de clients	{0,1,2,3,...}
météo	{soleil, pluie, nuage}
température	ℝ

2.3 Trajectoires (réalisations)

Une trajectoire est une évolution possible du processus dans le temps.

(2,3,4,2,1,0)

Cela peut représenter le nombre de clients dans un magasin heure par heure.

Chaque trajectoire correspond à une réalisation du phénomène aléatoire.

3. Classification des processus stochastiques

3.1 Processus à temps discret

Le temps prend des valeurs discrètes.

Exemple :

• nombre de ventes chaque jour

Notation :

X₀, X₁, X₂, ...

3.2 Processus à temps continu

Le temps varie continuellement.

Exemple :

• position d’une particule

Notation :

X(t)

3.3 Processus à espace d’états discret

Les valeurs possibles sont finies ou dénombrables.

Exemple :

• nombre de clients

3.4 Processus à espace d’états continu

Les valeurs appartiennent à un intervalle réel.

Exemple :

• température

4. Exemples fondamentaux de processus stochastiques

4.1 Marche aléatoire

Un individu se déplace :

• à droite avec probabilité 1/2
• à gauche avec probabilité 1/2

Ce modèle apparaît en physique, biologie et finance.

4.2 Processus de file d’attente

On modélise :

• arrivée des clients
• service des clients

Applications :

• banques
• réseaux informatiques
• hôpitaux

4.3 Modèles de population

On peut modéliser :

• naissance
• mort
• migration

Ces modèles sont utilisés en biologie et en économie.

Exercices corrigés

Exercice corrigé 1

On observe le nombre de voitures arrivant à un péage chaque minute.

Questions

1. Pourquoi ce phénomène est-il aléatoire ?
2. Définir une variable aléatoire pour ce phénomène.
3. Décrire le processus stochastique correspondant.
4. L’ensemble des temps est-il discret ou continu ?
5. Quel est l’espace d’états ?

Correction

Question 1

Le nombre de voitures varie de manière imprévisible. Donc le phénomène est aléatoire.

Question 2

X_t = nombre de voitures arrivant à la minute t

Question 3

(X₀, X₁, X₂, ...)

Question 4

Le temps est discret.

Question 5

{0,1,2,3,...}

Exercice corrigé 2

On observe la météo quotidienne.

États possibles :

• Soleil
• Pluie
• Nuage

Questions

1. Définir le processus stochastique correspondant.
2. Quel est l’espace d’états ?
3. Le temps est-il discret ou continu ?
4. Donner un exemple de trajectoire possible sur 5 jours.
5. Pourquoi ce modèle est-il aléatoire ?

Correction

Question 1

X_t = météo au jour t

Question 2

{Soleil, Pluie, Nuage}

Question 3

Le temps est discret.

Question 4

(Soleil, Soleil, Pluie, Nuage, Soleil)

Question 5

La météo dépend de phénomènes complexes et imprévisibles. Donc le phénomène est aléatoire.

Exercices d’application

Exercice 1

On observe la température chaque heure.

1. Définir le processus stochastique.
2. Identifier l’espace d’états.
3. Le temps est-il discret ou continu ?
4. Donner un exemple de trajectoire sur 5 heures.
5. Ce processus est-il à espace d’états discret ou continu ?

Exercice 2

On observe le nombre de clients dans une banque.

1. Définir une variable aléatoire associée.
2. Décrire le processus stochastique.
3. Identifier l’espace d’états.
4. Donner une trajectoire possible.
5. Classer ce processus.

Conclusion

Dans cette première leçon, nous avons introduit :

• la notion de processus stochastique
• l’ensemble des temps
• l’espace d’états
• les trajectoires
• plusieurs exemples fondamentaux

Ces notions constituent le socle mathématique pour comprendre les chaînes de Markov.

Dans la prochaine leçon, nous allons découvrir le cœur du chapitre :

-  la propriété de Markov, qui explique pourquoi certains processus n’ont pas de mémoire du passé.

C’est cette propriété qui rend les chaînes de Markov puissantes et utilisables dans de nombreux domaines scientifiques.

Leçon 2 : Définition et propriété fondamentale des chaînes de Markov

Article pédagogique rédigé par Parfait Nono

Dans la leçon précédente, nous avons introduit la notion de processus stochastique, c’est-à-dire une famille de variables aléatoires qui décrivent l’évolution d’un phénomène aléatoire dans le temps.

Dans cette deuxième leçon, nous allons introduire une classe particulière et extrêmement importante de processus stochastiques : les chaînes de Markov.

Ces modèles sont fondamentaux en probabilités, en statistique, en informatique, en économie et dans de nombreux domaines scientifiques.

Le principe clé qui définit ces processus est appelé propriété de Markov.

Sommaire de la leçon

• 1. Définition d’une chaîne de Markov
  • 1.1 Définition formelle
  • 1.2 Interprétation intuitive
  • 1.3 Notation mathématique
• 2. La propriété fondamentale de Markov
  • 2.1 Définition
  • 2.2 Interprétation probabiliste
  • 2.3 Processus avec mémoire et sans mémoire
• 3. Types de chaînes de Markov
  • 3.1 Chaînes homogènes
  • 3.2 Chaînes non homogènes
  • 3.3 Exemple simple de chaîne de Markov
• 4. Premiers exemples de modélisation
  • 4.1 Modèle météorologique
  • 4.2 Modèle de déplacement aléatoire
  • 4.3 Modèle d’évolution d’un client
• Exercices corrigés
• Exercices d’application
• Conclusion

1. Définition d’une chaîne de Markov

1.1 Définition formelle

Une chaîne de Markov est un processus stochastique à temps discret

(X₀, X₁, X₂, ...)

tel que la probabilité du futur dépend uniquement du présent.

P(X_n+1 = j | X_n = i , X_n-1, ..., X₀)

=

P(X_n+1 = j | X_n = i)

Cela signifie que l’état futur dépend uniquement de l’état actuel.

1.2 Interprétation intuitive

Une chaîne de Markov possède une propriété très simple : le système n’a pas de mémoire du passé.

Autrement dit, si l’on connaît l’état présent, les états précédents n’apportent aucune information supplémentaire.

Exemple simple

Supposons un modèle météo avec deux états :

• Soleil
• Pluie

Si aujourd’hui il pleut, la probabilité de demain dépend uniquement du temps d’aujourd’hui, pas du temps d’il y a trois jours.

1.3 Notation mathématique

On note généralement :

P_ij = P(X_n+1 = j | X_n = i)

où :

• i est l’état actuel
• j est l’état futur

P_ij représente la probabilité de transition.

2. La propriété fondamentale de Markov

La propriété centrale des chaînes de Markov est la propriété de Markov.

2.1 Définition

Un processus satisfait la propriété de Markov si :

P(X_n+1 | X_n, X_n-1, ..., X₀)

=

P(X_n+1 | X_n)

Le futur dépend uniquement du présent.

2.2 Interprétation probabiliste

Cela signifie que le système oublie son passé.

On peut dire que la chaîne possède une mémoire d’un seul pas.

2.3 Processus avec mémoire et sans mémoire

Processus avec mémoire

Exemple : le prix d’une maison peut dépendre :

• du prix actuel
• des prix précédents
• des tendances économiques

Ce n’est pas un processus markovien simple.

Processus sans mémoire

Exemple : un déplacement aléatoire où chaque mouvement dépend uniquement de la position actuelle.

Ce processus peut être modélisé par une chaîne de Markov.

3. Types de chaînes de Markov

Toutes les chaînes de Markov ne sont pas identiques.

3.1 Chaînes homogènes

Une chaîne est homogène si les probabilités de transition ne dépendent pas du temps.

Autrement dit :

P(X_n+1 = j | X_n = i) = P_ij

pour tout n.

Les probabilités restent constantes dans le temps.

Exemple

Aujourd’hui	Demain Soleil	Demain Pluie
Soleil	0.8	0.2
Pluie	0.4	0.6

Ces probabilités restent identiques chaque jour.

3.2 Chaînes non homogènes

Dans une chaîne non homogène, les probabilités changent avec le temps.

Exemple : probabilité de pluie différente selon la saison.

3.3 Exemple simple de chaîne de Markov

Considérons un système avec trois états :

• 0 : machine arrêtée
• 1 : machine en marche
• 2 : machine en panne

La probabilité d’être dans un état demain dépend uniquement de l’état actuel.

Ce système peut être modélisé par une chaîne de Markov.

4. Premiers exemples de modélisation

4.1 Modèle météorologique

États :

• Soleil
• Pluie

Transitions possibles :

• Soleil → Soleil
• Soleil → Pluie
• Pluie → Soleil
• Pluie → Pluie

4.2 Modèle de déplacement aléatoire

Un individu marche sur une ligne :

• droite avec probabilité 0.5
• gauche avec probabilité 0.5

La position future dépend uniquement de la position actuelle.

4.3 Modèle d’évolution d’un client

États :

• visite le site
• achète un produit
• quitte le site

Ce modèle est utilisé dans le marketing et l’analyse de comportement.

Exercices corrigés

Exercice corrigé 1 : Modèle météo

On considère un système météo avec deux états :

• Soleil (S)
• Pluie (P)

Les probabilités sont :

• S → S : 0.7
• S → P : 0.3
• P → S : 0.4
• P → P : 0.6

Questions

1. Identifier les états du système.
2. Vérifier que ce modèle peut être une chaîne de Markov.
3. Calculer la probabilité qu’il pleuve demain sachant qu’aujourd’hui il pleut.
4. Calculer la probabilité qu’il fasse soleil demain sachant qu’aujourd’hui il pleut.
5. Ce modèle est-il homogène ?

Correction

Question 1

Les états sont : Soleil et Pluie.

Question 2

La probabilité de demain dépend uniquement de l’état actuel. Donc c’est une chaîne de Markov.

Question 3

P(P → P) = 0.6

Question 4

P(P → S) = 0.4

Question 5

Les probabilités ne changent pas dans le temps. Donc la chaîne est homogène.

Exercice corrigé 2 : Marche aléatoire

Un individu marche sur une ligne.

À chaque pas :

• droite avec probabilité 0.5
• gauche avec probabilité 0.5

Questions

1. Définir la variable aléatoire décrivant la position.
2. Pourquoi ce processus est-il markovien ?
3. Quel est l’espace d’états ?
4. Donner un exemple de trajectoire possible.
5. Le processus est-il homogène ?

Correction

Question 1

X_n = position après n pas

Question 2

La position suivante dépend uniquement de la position actuelle.

Question 3

Espace d’états : droite et gauche.

Question 4

0 → 1 → 2 → 1 → 2 → 3

Question 5

Les probabilités restent constantes. Donc la chaîne est homogène.

Exercices d’application

Exercice 1 : File d’attente

On observe le nombre de clients dans une file d’attente.

À chaque minute :

• un client arrive avec probabilité 0.4
• un client part avec probabilité 0.3

Questions :

1. Définir le processus stochastique.
2. Identifier l’espace d’états.
3. Expliquer pourquoi ce modèle peut être une chaîne de Markov.
4. Donner deux trajectoires possibles.
5. Le processus est-il homogène ?

Exercice 2 : Modèle d’étude

Un étudiant peut être dans trois états :

• Étudier
• Se reposer
• Dormir

Questions :

1. Identifier les états.
2. Définir le processus aléatoire.
3. Expliquer pourquoi ce modèle peut être markovien.
4. Donner un exemple de trajectoire sur 6 étapes.
5. Proposer des probabilités de transition.

Conclusion

Dans cette leçon, nous avons introduit :

• la définition d’une chaîne de Markov
• la propriété de Markov
• la distinction entre chaînes homogènes et non homogènes
• plusieurs exemples concrets de modélisation

Ces concepts constituent le cœur théorique des chaînes de Markov.

Dans la prochaine leçon, nous allons étudier :

• l’espace d’états
• les graphes de transition
• la représentation complète d’une chaîne de Markov

Cela permettra de passer à une représentation mathématique plus structurée des systèmes markoviens.

Leçon 3 : Espaces d’états et représentation des chaînes de Markov

Article pédagogique rédigé par Parfait Nono

Dans les deux premières leçons, nous avons introduit les bases des processus stochastiques et défini les chaînes de Markov ainsi que leur principe central appelé propriété de Markov.

Nous savons maintenant qu’une chaîne de Markov est un processus aléatoire dans lequel l’état futur dépend uniquement de l’état présent.

Pour étudier ces systèmes de manière rigoureuse, nous devons comprendre deux éléments fondamentaux :

• l’espace d’états
• la représentation des transitions entre les états

Cette leçon introduit ces concepts qui sont indispensables pour la suite du chapitre.

Sommaire de la leçon

• 1. Espace d’états
  • 1.1 Définition
  • 1.2 États finis
  • 1.3 États dénombrables
  • 1.4 États infinis non dénombrables
• 2. Diagrammes de transition
  • 2.1 Représentation graphique
  • 2.2 Interprétation probabiliste
  • 2.3 Construction d’un graphe de transition
• 3. Description probabiliste d’une chaîne de Markov
  • 3.1 Probabilités de transition
  • 3.2 Distribution initiale
  • 3.3 Trajectoires possibles
• Exercices corrigés
• Exercices d’application
• Conclusion

1. Espace d’états

1.1 Définition

L’espace d’états est l’ensemble de toutes les valeurs possibles que peut prendre la variable aléatoire du processus.

On le note généralement :

E

Si la chaîne de Markov est notée :

(X_n)_{n ≥ 0}

alors :

X_n ∈ E

pour tout instant n.

1.2 États finis

Lorsque l’ensemble E contient un nombre fini d’éléments, on parle d’espace d’états fini.

Exemple : système informatique

Un serveur peut être dans trois états :

• 0 : inactif
• 1 : en fonctionnement
• 2 : en surcharge

L’espace d’états est :

E = {0,1,2}

1.3 États dénombrables

Un espace d’états est dénombrable lorsqu’il contient une infinité d’états mais que ces états peuvent être comptés.

Exemple : nombre de messages dans une boîte mail

E = {0,1,2,3,...}

Il peut y avoir un nombre infini de messages mais chaque état reste identifiable.

1.4 États infinis non dénombrables

Dans certains processus, l’espace d’états est continu.

Exemple : vitesse d’un véhicule

La vitesse peut prendre n’importe quelle valeur réelle.

E = ℝ

Cependant, dans les chaînes de Markov étudiées au niveau Master 1, l’espace d’états est généralement fini ou dénombrable.

2. Diagrammes de transition

Pour comprendre le fonctionnement d’une chaîne de Markov, il est souvent utile de la représenter graphiquement.

Cette représentation est appelée graphe de transition.

2.1 Représentation graphique

Chaque état est représenté par un sommet.

Chaque transition possible est représentée par une flèche.

La flèche est étiquetée par la probabilité de transition.

Exemple : modèle de comportement d’un utilisateur sur une application

États :

• A : utilisateur actif
• I : utilisateur inactif
• Q : utilisateur qui quitte l’application

Transitions :

• A → A : 0.6
• A → I : 0.3
• A → Q : 0.1
• I → A : 0.5
• I → I : 0.4
• I → Q : 0.1

Le graphe montre les probabilités de passage entre les états.

2.2 Interprétation probabiliste

Chaque flèche représente une probabilité conditionnelle :

P(X_n+1 = j | X_n = i)

La somme des probabilités sortant d’un état doit être égale à 1.

2.3 Construction d’un graphe de transition

Pour construire un graphe :

1. identifier les états
2. déterminer les transitions possibles
3. associer une probabilité à chaque transition

3. Description probabiliste d’une chaîne de Markov

Une chaîne de Markov est décrite par deux éléments principaux.

3.1 Probabilités de transition

Les probabilités de transition sont notées :

P_ij

où :

• i est l’état actuel
• j est l’état futur

3.2 Distribution initiale

La distribution initiale décrit la probabilité de départ dans chaque état.

On la note généralement :

π⁽⁰⁾

Exemple :

π⁽⁰⁾ = (0.5, 0.3, 0.2)

Cela signifie :

• probabilité 0.5 d’être dans l’état 1 au départ
• probabilité 0.3 d’être dans l’état 2
• probabilité 0.2 d’être dans l’état 3

3.3 Trajectoires possibles

Une trajectoire est une suite d’états visités par le système.

(1,2,2,3,1)

Chaque trajectoire correspond à une évolution possible du système.

Exercices corrigés

Exercice corrigé 1 : système de transport

Une station de bus peut être dans trois états :

• 0 : aucun bus
• 1 : un bus présent
• 2 : deux bus présents

Questions

1. Identifier l’espace d’états.
2. Le nombre d’états est-il fini ou infini ?
3. Donner deux trajectoires possibles sur 4 étapes.
4. Donner un exemple de transition possible.
5. Représenter verbalement le graphe de transition.

Correction

Question 1

E = {0,1,2}

Question 2

Le nombre d’états est fini.

Question 3

Trajectoire possible : (0,1,1,2)

Autre exemple : (1,2,1,0)

Question 4

Exemple : 1 → 2 si un second bus arrive.

Question 5

Le graphe contient trois sommets : 0, 1 et 2, avec des flèches représentant les arrivées et départs de bus.

Exercice corrigé 2 : progression d’un étudiant dans un cours

États :

• D : débutant
• M : intermédiaire
• E : expert

Questions

1. Définir l’espace d’états.
2. Donner une trajectoire possible d’apprentissage.
3. Expliquer pourquoi ce système peut être modélisé par une chaîne de Markov.
4. Donner un exemple de transition.
5. Combien d’états possède ce système ?

Correction

Question 1

E = {D, M, E}

Question 2

Exemple : (D, D, M, M, E)

Question 3

Le niveau futur dépend du niveau actuel.

Question 4

Exemple : M → E avec probabilité 0.3.

Question 5

Le système possède 3 états.

Exercices d’application

Exercice 1 : état d’une batterie de téléphone

Une batterie peut être dans quatre états :

• 0 : vide
• 1 : faible
• 2 : moyenne
• 3 : pleine

Questions :

1. Identifier l’espace d’états.
2. Le système possède-t-il un nombre fini d’états ?
3. Donner deux trajectoires possibles sur 5 étapes.
4. Donner un exemple de transition.
5. Représenter verbalement le graphe de transition.

Exercice 2 : activité d’un site web

États :

• V : visiteur
• I : inscrit
• C : client

Questions :

1. Identifier l’espace d’états.
2. Donner deux trajectoires possibles.
3. Expliquer pourquoi ce système peut être modélisé par une chaîne de Markov.
4. Donner trois transitions possibles.
5. Proposer des probabilités de transition plausibles.

Conclusion

Dans cette leçon, nous avons introduit :

• l’espace d’états
• les graphes de transition
• la distribution initiale
• les trajectoires d’une chaîne de Markov

Ces concepts permettent de représenter visuellement et mathématiquement une chaîne de Markov.

Dans la prochaine leçon, nous allons étudier un élément central de la théorie :

les probabilités de transition, qui déterminent comment le système évolue d’un état à un autre.

Leçon 4 : Probabilités de transition dans les chaînes de Markov

Article pédagogique rédigé par Parfait Nono

Après avoir étudié l’espace d’états et les représentations graphiques des chaînes de Markov, il est temps d’approfondir un concept fondamental : les probabilités de transition. Ces probabilités déterminent comment un système évolue d’un état à un autre à chaque étape.

Comprendre les probabilités de transition est essentiel pour modéliser, analyser et prédire le comportement des systèmes stochastiques dans différents domaines.

---

Sommaire de la leçon

• Définition des probabilités de transition
• Calcul des probabilités en une étape et en plusieurs étapes
• Relation avec la probabilité conditionnelle
• Exemples détaillés et interprétation probabiliste
• Exercices corrigés et exercices d’application

---

1. Probabilité de transition

1.1 Définition

La probabilité de transition mesure la chance de passer d’un état i à un état j en une étape :

P_ij = P(X_(n+1) = j | X_n = i)

où X_n est l’état à l’étape n.

---

1.2 Probabilité en une étape

Exemple : processus de production

Supposons une machine avec trois états :

• 0 : arrêt
• 1 : fonctionnement normal
• 2 : panne

Tableau des probabilités de transition :

De → Vers	0	1	2
0	0.1	0.8	0.1
1	0.05	0.9	0.05
2	0.6	0.3	0.1

Ainsi, si la machine est en état 1, la probabilité qu’elle tombe en panne à l’étape suivante est P_12 = 0.05.

---

1.3 Notation mathématique

La matrice des probabilités de transition P est :

P = [ [0.1, 0.8, 0.1],
[0.05, 0.9, 0.05],
[0.6, 0.3, 0.1] ]

Chaque ligne correspond à l’état actuel, chaque colonne à l’état futur, et la somme des lignes vaut toujours 1.

---

2. Probabilité conditionnelle

2.1 Relation avec la probabilité conditionnelle

Rappel : P(A | B) = P(A et B) / P(B)

Dans une chaîne de Markov : P(X_(n+1) = j | X_n = i) = P_ij

C’est donc une probabilité conditionnelle où l’événement B est “l’état actuel = i”.

2.2 Interprétation probabiliste

• Si P_ij est proche de 1, le passage de i à j est presque certain.
• Si P_ij est proche de 0, le passage est très improbable.

2.3 Exemple détaillé : évolution d’un patient

États :

• S : sain
• M : malade
• R : rétabli

Matrice de transition :

De → Vers	S	M	R
S	0.9	0.1	0
M	0.2	0.6	0.2
R	0.05	0.05	0.9

Interprétation :

• Un patient sain reste sain avec 90 % de chances.
• Un patient malade a 20 % de chances de guérir à l’étape suivante.

---

3. Probabilités de transition à plusieurs étapes

3.1 Transition en deux étapes

Pour passer de l’état i à l’état j en deux étapes, on utilise la matrice au carré :

P^(2) = P × P

Exemple

Probabilité que la machine passe de l’état 0 à l’état 2 en deux étapes :

P^(2)_02 = P_00·P_02 + P_01·P_12 + P_02·P_22 = 0.1·0.1 + 0.8·0.05 + 0.1·0.1 = 0.105

3.2 Transition en n étapes

On utilise la puissance n de la matrice de transition :

P^(n) = P^n

Chaque élément P^(n)_ij donne la probabilité de passer de l’état i à l’état j en n étapes.

3.3 Interprétation probabiliste

• Plus n augmente, plus nous observons l’évolution long terme de la chaîne.
• Ces probabilités servent à prévoir la dynamique d’un système stochastique.

---

Exercices corrigés

Exercice 1 : système météo

États : S : soleil, P : pluie, N : nuage

Matrice de transition :

De → Vers	S	P	N
S	0.7	0.2	0.1
P	0.3	0.6	0.1
N	0.4	0.3	0.3

Correction

• Q1 : P(P → S) = 0.3
• Q2 : P^(2)_SN = 0.7·0.1 + 0.2·0.1 + 0.1·0.3 = 0.14
• Q3 : lignes = 1 ✅
• Q4 : P = [[0.7,0.2,0.1],[0.3,0.6,0.1],[0.4,0.3,0.3]]
• Q5 : P^(3)_NS = 0.4·0.7 + 0.3·0.3 + 0.3·0.4 = 0.49

Exercice 2 : file d’attente à la banque

États : 0 : aucun client, 1 : un client, 2 : deux clients

Matrice :

De → Vers	0	1	2
0	0.5	0.4	0.1
1	0.3	0.4	0.3
2	0.2	0.5	0.3

Correction

• Q1 : P(1→2) = 0.3
• Q2 : P^(2)_20 = 0.2·0.5 + 0.5·0.3 + 0.3·0.2 = 0.34
• Q3 : lignes = 1 ✅
• Q4 : P = [[0.5,0.4,0.1],[0.3,0.4,0.3],[0.2,0.5,0.3]]
• Q5 : P^(3)_01 ≈ 0.436

---

Exercices d’application pour progresser

1. Modéliser l’évolution de la note moyenne d’un étudiant (A, B, C, D) avec probabilités de transition réalistes.
2. Étudier la fiabilité d’une machine industrielle avec états : fonctionnelle, maintenance, panne.
3. Analyser l’évolution d’un portefeuille financier avec états : baisse, stable, hausse.
4. Modéliser la population d’une espèce animale avec états : faible, moyenne, abondante.
5. Étudier un jeu de plateau simple avec transitions entre cases et calculer probabilité d’atteindre la case finale après n tours.

---

Conclusion

Dans cette leçon, vous avez appris à :

• définir les probabilités de transition
• calculer les probabilités en une étape et en plusieurs étapes
• relier les probabilités à la notion de probabilité conditionnelle
• appliquer ces concepts à des exemples variés et concrets

Ces notions sont essentielles pour passer à la leçon 5, où nous verrons comment représenter et manipuler les probabilités de transition via les matrices et calculer rapidement l’évolution des chaînes de Markov.