Would you like to inspect the original subtitles? These are the user uploaded subtitles that are being translated:
1
00:00:05,580 --> 00:00:08,820
Parlons donc de l'empreinte carbone des transformers.
2
00:00:08,820 --> 00:00:10,530
Vous avez peut-être vu des titres tels que celui-ci
3
00:00:10,530 --> 00:00:13,530
indiquant qu'entraîner un seul modèle d'IA peut entraîner autant d'émissions de CO2
4
00:00:13,530 --> 00:00:16,020
que cinq voitures dans leur vie.
5
00:00:16,020 --> 00:00:19,440
Alors quand est-ce vrai et est-ce toujours vrai ?
6
00:00:19,440 --> 00:00:21,803
En fait, cela dépend de plusieurs choses.
7
00:00:21,803 --> 00:00:23,430
Le plus important, c'est que cela dépend
8
00:00:23,430 --> 00:00:24,960
sur le type d'énergie que vous utilisez.
8
00:00:24,960 --> 00:00:26,267
Si vous utilisez une énergie renouvelable telle que le
9
00:00:26,267 --> 00:00:30,670
solaire, l'éolien, l'hydroélectrique, vous n'éméttez
10
00:00:30,670 --> 00:00:33,810
pas vraiment de carbone du tout. Très, très peu.
11
00:00:33,810 --> 00:00:36,769
Si vous utilisez des sources d'énergie non renouvelables telles que le charbon
12
00:00:36,769 --> 00:00:39,570
alors l'empreinte carbone est beaucoup plus élevée
13
00:00:39,570 --> 00:00:43,260
parce qu'en fait, vous émettez beaucoup de gaz à effet de serre.
14
00:00:43,260 --> 00:00:44,670
Un autre aspect est le temps d'entraînement.
15
00:00:44,670 --> 00:00:47,232
Donc, plus vous entraînez longtemps, plus vous dépensez d'énergie.
16
00:00:47,232 --> 00:00:50,250
Plus vous utilisez d'énergie, plus vous émettez de carbone.
17
00:00:50,250 --> 00:00:51,270
Donc, cela s'additionne.
18
00:00:51,270 --> 00:00:53,520
Surtout si vous entraînez de grands modèles
19
00:00:53,520 --> 00:00:56,460
pendant des heures, des jours et des semaines.
20
00:00:56,460 --> 00:00:58,380
Le matériel que vous utilisez a également son importance
21
00:00:58,380 --> 00:01:00,930
car certains GPU, par exemple, sont plus efficaces
22
00:01:00,930 --> 00:01:05,459
que d'autres et donc utiliser des GPU
23
00:01:05,459 --> 00:01:07,500
efficiement, correctement, à 100% tout le temps,
24
00:01:07,500 --> 00:01:10,650
peut vraiment réduire la consommation d'énergie que vous avez.
25
00:01:10,650 --> 00:01:13,290
Et encore une fois, réduire votre empreinte carbone.
26
00:01:13,290 --> 00:01:15,870
Il y a aussi d'autres aspects comme l'IO
27
00:01:15,870 --> 00:01:17,730
comme les données, etc., etc.
28
00:01:17,730 --> 00:01:20,940
Mais ce sont les trois principaux sur lesquels vous devez vous concentrer.
29
00:01:20,940 --> 00:01:23,340
Donc quand je parle de sources d'énergie et d'intensité de carbone
30
00:01:23,340 --> 00:01:24,420
Qu'est-ce que cela signifie vraiment ?
31
00:01:24,420 --> 00:01:27,480
Donc si vous regardez en haut de l'écran
32
00:01:27,480 --> 00:01:30,480
vous avez une empreinte carbone
33
00:01:30,480 --> 00:01:33,860
d'une instance de cloud computing à Mumbai en Inde
34
00:01:33,860 --> 00:01:38,700
qui émet 920 grammes de CO2 par kilowattheure.
35
00:01:38,700 --> 00:01:40,110
C'est presque un kilo
36
00:01:40,110 --> 00:01:43,680
de CO2 par kilowattheure d'électricité utilisé.
37
00:01:43,680 --> 00:01:45,150
Si vous comparez cela avec Montréal au Canada,
38
00:01:45,150 --> 00:01:48,720
où je suis en ce moment, 20 grammes de CO2 par kilo heure.
39
00:01:48,720 --> 00:01:50,040
C'est donc une très, très grande différence.
40
00:01:50,040 --> 00:01:54,240
Près de 40 fois plus de carbone émis
41
00:01:54,240 --> 00:01:55,950
à Mumbai qu'à Montréal.
42
00:01:55,950 --> 00:01:57,720
Et donc cela peut vraiment, vraiment s'accumuler.
43
00:01:57,720 --> 00:01:59,820
Si vous entraînez un modèle pendant plusieurs semaines, par exemple
44
00:01:59,820 --> 00:02:01,920
vous multipliez par 40
45
00:02:01,920 --> 00:02:03,450
le carbone que vous émettez.
46
00:02:03,450 --> 00:02:05,070
Donc, choisir la bonne instance,
47
00:02:05,070 --> 00:02:07,080
choisir une instance de calcul à faible émission de carbone,
48
00:02:07,080 --> 00:02:09,690
est vraiment la chose la plus importante que vous puissiez faire.
49
00:02:09,690 --> 00:02:13,020
Et c'est là que cela peut vraiment s'accumuler
50
00:02:13,020 --> 00:02:15,930
si vous vous entrainez de manière très intensive
51
00:02:15,930 --> 00:02:17,580
dans une région à forte intensité de carbone.
52
00:02:19,170 --> 00:02:21,750
D'autres éléments à prendre en compte, par exemple
53
00:02:21,750 --> 00:02:22,770
utiliser des modèles pré-entraînés.
54
00:02:22,770 --> 00:02:25,590
C'est l'équivalent du recyclage pour l'apprentissage automatique.
55
00:02:25,590 --> 00:02:28,292
Lorsque vous disposez de modèles pré-entraînés, vous pouvez les utiliser.
56
00:02:28,292 --> 00:02:30,120
Vous n'émettez pas de carbone du tout.
57
00:02:30,120 --> 00:02:31,230
Vous ne ré-entraînez rien.
58
00:02:31,230 --> 00:02:33,450
Donc c'est aussi faire ses devoirs
59
00:02:33,450 --> 00:02:35,574
de regarder ce qui existe déjà.
60
00:02:35,574 --> 00:02:37,890
Finetuner au lieu d'entraîner à partir de zéro.
61
00:02:37,890 --> 00:02:38,723
Donc, une fois de plus,
62
00:02:38,723 --> 00:02:40,590
si vous trouvez un modèle qui correspond presque à ce dont vous avez besoin
63
00:02:40,590 --> 00:02:43,530
mais pas tout à fait, finetunez les dernières couches
64
00:02:43,530 --> 00:02:45,210
pour qu'il corresponde vraiment à votre objectif.
65
00:02:45,210 --> 00:02:46,500
au lieu d'entrâiner un gros transformer
66
00:02:46,500 --> 00:02:48,810
à partir de zéro. Cela peut vraiment aider.
67
00:02:48,810 --> 00:02:51,270
Commencer par de petites expériences
68
00:02:51,270 --> 00:02:52,800
et déboguer au fur et à mesure.
69
00:02:52,800 --> 00:02:54,630
Cela signifie, par exemple,
70
00:02:54,630 --> 00:02:58,770
comprendre l'encodage des données,
71
00:02:58,770 --> 00:03:01,170
s'assurer qu'il n'y a pas de petits bugs, que vous allez
72
00:03:01,170 --> 00:03:03,840
réalisez, après 16 heures d'entraînement.
73
00:03:03,840 --> 00:03:05,820
Commencer petit et vraiment s'assurer
74
00:03:05,820 --> 00:03:08,760
de ce que vous faites, que votre code est stable.
75
00:03:08,760 --> 00:03:11,430
Et enfin, faire une revue de la littérature pour
76
00:03:11,430 --> 00:03:13,740
choisir des plages d'hyperparamètres pour ensuite poursuivre
77
00:03:13,740 --> 00:03:15,900
avec une recherche aléatoire au lieu d'une recherche par grille.
78
00:03:15,900 --> 00:03:18,420
Les recherches de combinaisons d'hyperparamètres
79
00:03:18,420 --> 00:03:21,300
aléatoires se sont avérés être aussi efficaces
80
00:03:21,300 --> 00:03:24,000
pour trouver la configuration optimale, que la recherche par grille.
81
00:03:24,000 --> 00:03:27,510
Mais évidemment, vous n'essayez pas toutes les combinaisons possibles,
82
00:03:27,510 --> 00:03:29,520
vous n'en essayez qu'un sous-ensemble.
83
00:03:29,520 --> 00:03:31,800
Cela peut donc être très utile.
84
00:03:31,800 --> 00:03:32,760
Donc maintenant, nous revenons
85
00:03:32,760 --> 00:03:36,300
à l'article original de Strubell et al. de 2019,
86
00:03:36,300 --> 00:03:39,180
l'infâme papier sur la vie des cinq voitures.
87
00:03:39,180 --> 00:03:40,013
Si vous regardez
88
00:03:40,013 --> 00:03:43,606
un transformer de 200 millions de paramètres,
89
00:03:43,606 --> 00:03:46,950
son empreinte carbone est d'environ 200 livres [87 kg] de CO2,
90
00:03:46,950 --> 00:03:47,940
ce qui est important.
91
00:03:47,940 --> 00:03:49,980
Mais c'est loin des cinq voitures.
92
00:03:49,980 --> 00:03:52,893
Ce n'est même pas un vol transatlantique.
93
00:03:52,893 --> 00:03:55,020
Ce qui compte vraiment, c'est lorsque vous faites
94
00:03:55,020 --> 00:03:56,190
vos recherches d'architectures neuronales,
95
00:03:56,190 --> 00:03:58,560
quand vous faites le réglage des hyperparamétres,
96
00:03:58,560 --> 00:04:00,930
en essayant toutes les combinaisons possibles,
97
00:04:00,930 --> 00:04:01,763
etc., etc.
98
00:04:01,763 --> 00:04:02,596
Et c'est là que
99
00:04:02,596 --> 00:04:05,400
d'où proviennent les 600 000 livres [272,16 t] de CO2.
100
00:04:05,400 --> 00:04:08,490
C'est donc là que les choses s'additionnent.
101
00:04:08,490 --> 00:04:11,880
Mais si vous faites les choses consciemment et consciencieusement,
102
00:04:11,880 --> 00:04:16,410
alors votre empreinte carbone ne sera pas aussi importante,
103
00:04:16,410 --> 00:04:20,040
comme le laissait entendre le papier. Quelques outils
104
00:04:20,040 --> 00:04:22,111
pour savoir combien de CO2 exactement vous émettez.
105
00:04:22,111 --> 00:04:24,270
Il y a un outil en ligne appelé « machine
106
00:04:24,270 --> 00:04:26,430
learning submissions calculator » qui vous permet
107
00:04:26,430 --> 00:04:29,010
de saisir manuellement, par exemple, le matériel que vous avez utilisé,
108
00:04:29,010 --> 00:04:30,488
le nombre d'heures pendant lesquelles vous l'avez utilisé,
109
00:04:30,488 --> 00:04:34,260
où il était situé : localement ou dans le cloud.
110
00:04:34,260 --> 00:04:35,640
Et puis il va vous donner une estimation
111
00:04:35,640 --> 00:04:37,560
de la quantité de CO2 que vous avez émise.
112
00:04:37,560 --> 00:04:40,200
Un autre outil qui fait cela de manière programmatique,
113
00:04:40,200 --> 00:04:41,190
s'appelle codecarbon.
114
00:04:41,190 --> 00:04:45,112
Vous pouvez l'installer avec pip, vous pouvez aller sur leur GitHub,
115
00:04:45,112 --> 00:04:48,120
et essentiellement il s'exécute en parallèle de votre code.
116
00:04:48,120 --> 00:04:49,085
Donc, vous l'appelez
117
00:04:49,085 --> 00:04:51,060
et ensuite vous faites tous vos entraînements.
118
00:04:51,060 --> 00:04:53,760
Et puis à la fin, il va vous donner une estimation :
119
00:04:53,760 --> 00:04:57,210
un fichier CSV contenant une estimation de vos émissions.
120
00:04:57,210 --> 00:04:59,250
Et ça va vous permettre de faire des comparaisons.
121
00:04:59,250 --> 00:05:01,230
Il y a une interface visuelle où vous pouvez
122
00:05:01,230 --> 00:05:04,680
comparer avec la conduite d'une voiture ou la télévision.
123
00:05:04,680 --> 00:05:06,060
Ainsi, cela peut vous donner une idée
124
00:05:06,060 --> 00:05:07,740
de la portée de vos émissions également.
125
00:05:07,740 --> 00:05:09,930
Et en fait, codecarbon est déjà intégré dans AutoNLP.
126
00:05:09,930 --> 00:05:12,270
et j'espère que les gens l'utiliseront
127
00:05:12,270 --> 00:05:15,240
pour suivre facilement leurs émissions tout au long
128
00:05:15,240 --> 00:05:17,523
de l'entraînement et le déploiement des transformers.
10656
Can't find what you're looking for?
Get subtitles in any language from opensubtitles.com, and translate them here.
Afrikaans
Akan
Albanian
Amharic
Arabic
Armenian
Azerbaijani
Basque
Belarusian
Bemba
Bengali
Bihari
Bosnian
Breton
Bulgarian
Cambodian
Catalan
Cebuano
Cherokee
Chichewa
Chinese (Traditional)
Corsican
Croatian
Czech
Danish
Dutch
English
Esperanto
Estonian
Faroese
Finnish
Galician
Georgian
German
Greek
Guarani
Haitian Creole
Hausa
Hawaiian
Hebrew
Hmong
Hungarian
Icelandic
Indonesian
Irish
Italian
Japanese
Kazakh
Kinyarwanda
Kirundi
Kongo
Korean
Krio (Sierra Leone)
Kurdish
Kyrgyz
Laothian
Latin
Latvian
Lithuanian
Luganda
Luo
Luxembourgish
Macedonian
Malagasy
Malay
Maltese
Maori
Mauritian Creole
Moldavian
Mongolian
Myanmar (Burmese)
Montenegrin
Nepali
Norwegian
Pashto
Persian
Polish
Portuguese (Brazil)
Portuguese (Portugal)
Quechua
Romanian
Romansh
Russian
Samoan
Scots Gaelic
Serbian
Sesotho
Setswana
Seychellois Creole
Shona
Sindhi
Sinhalese
Slovak
Slovenian
Somali
Spanish
Swedish
Tajik
Thai
Tigrinya
Tonga
Turkish
Turkmen
Uighur
Ukrainian
Uzbek
Vietnamese
Welsh
Wolof