Published in C. R. Acad. Sci. Paris, t. 318, Série I, p. 889-894, 1994.

Unicité du sous-groupe abélien distingué maximal dans certains sous-groupes de Sylow. Marc Cabanes

Abridged English Version : Let E be a group and A ◁ E a normal abelian subgroup. One writes A ˙◁ E if and only if A is the unique maximal abelian normal subgroup in any subgroup of E that contains A. Generalizing the idea of [1] Theorem 2, one checks that A ˙◁ E if and only if the action of E/A on A is such that there is no g ∈ E \ A satisfying (g − 1)^{2}(A) = (0) (“quadratic elements”). The case of nilpotent subgroups of some given finite group is of special interest. We prove the following theorem which also applies to the framework of subpairs in block theory. THEOREM. − Let G be a finite group and (P, ≤) a G-poset endowed with an order preserving G-map P: x ↦ P (x) sending (P, ≤) to the poset of nilpotent subgroups of G. For all x ∈ P, denote N_{P}(x) = {y ≥ x ; P (y).x = x} and assume the following : x ∈ N_{P}(x), there exists x′ ∈ N_{P}(x) such that N_{P}(x) = ∪_{g ; g.x=x} [x, g.x′], and P induces a bijection between ]←, x] and the subgroups of P (x). Now, let a ∈ P and b be a maximal element in N_{P}(a). Assume P (a) is abelian and P (a) ˙◁ P (b). Then b is maximal in P, G.a ∩ ]←, b] = {a}, and we have P (a) ˙◁ P (x) for all x ∈ [a, →[.

As an application of these remarks, we give a uniform (and short) proof of the fact that the Sylow ℓ-subgroups of the finite reductive groups have a unique maximal abelian normal subgroup. Precisely : THEOREM. − Let G be a connected reductive group and F a Frobenius endomorphism defining a rational structure over IF_{q}. Let ℓ be a prime ≠ 2, 3 and not dividing q. Let e be the order of q mod. ℓ. Let L be a minimal e-split Levi subgroup of G (see [4] 3.9), let T be a maximal F -stable torus of L.

Then, a Sylow ℓ-subgroup of G^{F} is of the form S = Z(L)_{ℓ}^{F} {> \atop ◁}V where V ⊆ N_{G^{F}} (T) satisfies V ∩ T = {1} and V is isomorphic to a Sylow ℓ-subgroup of the reflection subgroup of N_{G^{F}} (T)/T^{F} corresponding to the T-roots of G that are orthogonal to the roots of L. Moreover, Z(L)_{ℓ}^{F} ˙◁ S.

Using the decomposition G = G_{a}G_{b} of [5] and induction, the proof reduces to type A, where the property Z(L)_{ℓ}^{F} ˙◁ S relies on a property of permutation matrices. On the other hand, the fact that Z(L)_{ℓ}^{F} has a complement in S relies on the following generalization of a theorem of J. Tits. PROPOSITION. − Let G, F be as before, let T be an F -stable maximal torus of G. Then there is an F -stable subgroup N ⊆ N_{G}(T) such that TN = N_{G}(T) and T ∩ N = T_{2}.

1. INTRODUCTION. − Suivant une remarque de L. Puig (voir aussi [1] Theorem 2), nous montrons que l’étude des équations [[X, x], x] = 1 dans les normalisateurs de tores donne une propriété générale des sous-groupes de Sylow des groupes de Chevalley. Les p-sous-groupes de Sylow des groupes de Chevalley finis (de caractéristique ≠ p et pour p ≥ 5) admettent un unique sous-groupe abélien distingué maximal (Théorème 4.4, ci-dessous). Notre preuve donne une approche unifiée de plusieurs exemples connus. Cette propriété des groupes de Chevalley finis fournit un outil précieux dans l’étude de la structure locale de leurs blocs [6]. 1.1. NOTATIONS. − Soit G un groupe opérant sur un ensemble X. On note g.x le résultat de l’opération de g ∈ G sur x ∈ X. On note G.x l’orbite de x, N_{G}(x) son stabilisateur. On note X^{G} = {x ∈ X ; N_{G}(x) = G}. Dans le cas où X est un groupe sur lequel G opère par automorphismes de groupe, si Y ⊆ X et H ⊆ G, on note [Y, H] le sous-groupe de X engendré par les éléments de la forme y(h.y)^{−1} pour h ∈ H et y ∈ Y. Lorsque X est un sous-groupe distingué de G (ce qu’on note X ◁ G), l’opération considérée sera toujours l’opération par conjugaison.

Si p est un nombre premier, on note G_{p} l’ensemble des éléments de G d’ordre fini égal à une puissance de p et G_{p′} l’ensemble des éléments de G d’ordre fini premier à p.

2. SOUS-GROUPES ABÉLIENS DISTINGUÉS ET ÉLÉMENTS QUADRA-TIQUES. 2.1. DÉFINITION-NOTATION. − On suppose que G opère sur le groupe X par automorphismes de groupe. Soit g ∈ G, on dira que g est quadratique sur X si [[X, g], g] = {1}. On note q_{G}(X) le sous-groupe de G engendré par les éléments quadratiques sur X. Alors q_{G}(X) ◁ G.

Prenons X = G sur lequel G opère par conjugaison. Alors g ∈ G est quadratique sur G si et seulement si G.g = {xgx^{−1} ; x ∈ G} engendre un sous-groupe abélien de G. Ainsi, q_{G}(G) = <g ∈ G ; [[G, g], g] = {1}> est engendré par la réunion des sous-groupes abéliens distingués de G, et q_{G}(G) est abélien si et seulement si G possède un unique sous-groupe abélien distingué maximal (alors égal à q_{G}(G)). 2.2. NOTATION. − Si A est un sous-groupe abélien de G, on écrit A ˙◁ G si pour tout sous-groupe H ⊆ G tel que A ⊆ H, A est l’unique sous-groupe abélien distingué maximal de H.

Avec ces notations, si q_{G}(G) est abélien, il est clair que q_{G}(G) ˙◁ G si et seulement si q_{G}(q_{G}(G)) = q_{G}(G) ; ce que nous utiliserons sous la forme suivante : 2.3. PROPOSITION − Si G est un groupe et A ◁ G est un sous-groupe abélien distingué, alors A ˙◁ G si et seulement si G/A n’a pas d’élément quadratique ≠ 1 dans son opération sur A. 2.4. REMARQUE. − Soit A un groupe abélien. Si G opère sur A par automorphismes de groupe, un élément g ∈ G est quadratique sur A si et seulement si (g − 1)^{2}(A) = (0) (notation additive).

Soit σ ∈ Aut(A) d’ordre fini m > 1. Si σ − 1 est nilpotent, alors mA ≠ A. En développant l’égalité (1 + (σ − 1))^{m} = 1, on trouve en effet (σ − 1)(mA) ⊆ (σ − 1)^{2}(A). L’égalité mA = A contredirait le fait que σ − 1 est nilpotent non nul. On en déduit que, si E est un groupe fini, p est un nombre premier et A est un p-sous-groupe abélien distingué de E, alors A ˙◁ E si et seulement si A = C_{E}(A) et A ˙◁ S pour S un p-sous-groupe de Sylow de E.

3. LE CAS DES SOUS-GROUPES NILPOTENTS. − La Remarque 2.4 conduit à étudier le cas des p-sous-groupes des groupes finis. Afin de traiter également le cas de certains ensembles ordonnés définis en théorie des blocs ([2]), ceci en vue d’applications futures, nous nous plaçons dans un cadre un peu plus général. 3.1. THÉORÈME. − Soit G un groupe, on note (N , ⊆) l’ensemble de ses sousgroupes nilpotents ordonné par la relation d’inclusion. Soit (P, ≤) un G-ensemble ordonné (G opère par applications croissantes) et P: (P, ≤) → (N , ⊆) un Gmorphisme croissant vérifiant pour tout x ∈ P les hypothèses suivantes : (H1) P (x) ⊆ N_{G}(x) et P induit une bijection entre ]←, x] et les sous-groupes de P (x). (H2) En notant N_{P}(x) = {y ∈ P ; x ≤ y et P (y) ⊆ N_{G}(x)}, il y a un élément maximal x_{m} dans N_{P}(x) tel que N_{P}(x) = ∪_{g∈N_{G}(x)}[x, g.x_{m}].

Soit a ∈ P et b un élément maximal de N_{P}(a). Supposons que P (a) soit abélien avec P (a) ˙◁ P (b) (Notation 2.2), alors : (1) − b est un élément maximal de P, (2) − G.a ∩ ]←, b] = {a}, et (3) − on a P (a) ˙◁ P (x) pour tout x ∈ [a, →[.

Lorsque G est fini et P est l’ensemble des p-sous-groupes de G pour p un nombre premier, l’hypothèse (H2) résulte des théorèmes de Sylow. INDICATIONS SUR LA DÉMONSTRATION. − Avec la seule hypothèse que P (a) est un sous-groupe caractéristique dans tous les sous-groupes de P (b) le contenant, il est facile de montrer (1), (2) et [a, →[ = N_{P}(a) : les hypothèses (H1) et (H2) permettent d’utiliser des arguments qui, dans le cas des p-groupes, sont classiques ([9] 2.1, 7.5.1). Supposons de plus que P (a) soit abélien avec P (a) ˙◁ P (b). Soit x ∈ [a, →[. Puisque [a, →[ = N_{P}(a) = ∪_{g∈N_{G}(a)}[a, g.b] (H2), on se ramène au cas où a ≤ x ≤ b et on a bien P (a) ˙◁ P (x).

4. EXEMPLES. − (1) Groupes symétriques. - On prouve sans difficulté le Lemme suivant sur les matrices de permutations en caractéristique non nulle. 4.1. LEMME. − Soient A ≠ (0) un groupe abélien, n un entier ≥ 2, B = A^{n} et W = S_{n} le groupe symétrique de degré n. Les éléments quadratiques non triviaux de W sur B (Définition 2.1) sont les éléments d’ordre 2 si 2A = (0). Il n’en existe aucun si 2A ≠ (0).

Les seuls éléments quadratiques non triviaux de W opérant sur [B/B^{W} , W] = [B, W]/[B, W] ∩ B^{W} sont : − les éléments d’ordre 2 lorsque, soit n ≠ 4 et 2A = (0), soit n = 2 et 8A = (0), − les éléments d’ordre 2 et signature 1 lorsque n = 4, 4A = (0) et 2A ≠ (0), − les éléments d’ordre 2 ou 4 lorsque n = 4 et 2A = (0), − les éléments d’ordre 3 lorsque n = 3 et 3A = (0); lorsque aucune de ces conditions n’est satisfaite, W ne possède aucun élément quadratique non trivial sur le module en question.

(2) Groupes de Chevalley. − Si T est un tore maximal d’un groupe réductif connexe G, notons W (G, T) = N_{G}(T)/T le groupe de Weyl ([3] 2.3) et p_{T}: N_{G}(T) → W (G, T) la surjection canonique. En utilisant la Remarque 2.4 et le fait que T est un groupe divisible, on voit que T ˙◁ N_{G}(T). Nous allons donner un “ℓ-analogue” de cette propriété. Nous généralisons d’abord, dans le cas d’un corps de base fini, un résultat de J. Tits [11] sur le groupe N_{G}(T).

Fixons G un groupe réductif connexe sur un corps algébriquement clos de caractéristique non nulle et F: G → G un endomorphisme de Frobenius définissant une structure rationnelle sur le corps fini IF_{q} de cardinal q. 4.2. PROPOSITION − Soit T un tore maximal F -stable quelconque de G, alors il existe un sous-groupe N ⊆ N_{G}(T) tel que TN = N_{G}(T), T ∩ N = T_{2} et F (N) = N. DÉMONSTRATION. − Le cas où T est inclus dans un sous-groupe de Borel F -stable (T “maximalement déployé”) se déduit aisément de [11] 4.4 (voir aussi l’introduction de [11]). Dans le cas général, on a seulement T = gT_{0}g^{−1} où T_{0} est maximalement déployé et g ∈ G. Notons N_{0} un sous-groupe de N_{G}(T_{0}) satisfaisant les conditions de la Proposition pour T_{0}. Puisque T est F -stable, on a g^{−1}F (g) ∈ N_{G}(T_{0}), d’où g^{−1}F (g) = n_{0}t_{0} pour n_{0} ∈ N_{0} et t_{0} ∈ T_{0}. Appliquons le théorème de Lang ([10] 10.1) à n_{0}F agissant sur T_{0} : il existe t ∈ T_{0} tel que n_{0}F (t)n_{0}^{−1}t^{−1} = n_{0}t_{0}^{−1}n_{0}^{−1}. On prend alors N = gtN_{0}t^{−1}g^{−1}. 4.3. − Rappelons les principales notions de [4] sur les ordres polynomiaux des groupes réductifs définis sur des corps finis. Si G, F et q sont comme précédemment, il existe un polynôme unitaire P_{G,F} ∈ ZZ[t] tel que P_{G,F} (q^{1+ak}) = |G^{F^{1+ak}}| pour au moins un a ≥ 1 et tout k ≥ 0. Alors P_{G,F} est un produit d’une puissance de t (triviale si et seulement si G est un tore) et de polynômes cyclotomiques. Si ϕ_{k} est le k-ième polynôme cyclotomique, on dit que G est un ϕ_{k}-groupe si et seulement si P_{G,F} est une puissance de ϕ_{k}.

Rappelons aussi ce que nous entendons par type rationnel. Nous disons qu’un groupe G défini sur IF_{q} est de type rationnel (X, q^{k}) où k ≥ 1 et X = A_{m}, ^{2}A_{m}, B_{m}, C_{m}, D_{m}, ^{2}D_{m}, ^{3}D_{4}, E_{m} (6 ≤ m ≤ 8), ^{2}E_{6}, F_{4} ou G_{2}, si G est obtenu par restriction des scalaires de IF_{q^{k}} à IF_{q} d’un groupe de type X sur IF_{q^{k}}. Le type (^{2}A_{m}, q^{k}) sera aussi noté (A_{m}, −q^{k}). 4.4. THÉORÈME. − Soient G, F et q comme précédemment. Soit ℓ un nombre premier ≥ 5 et ne divisant pas q. Soit e l’ordre de q modulo ℓ. Soient S un ϕ_{e}-sous-groupe maximal de G, L = C_{G}(S), Z = Z(L)_{ℓ}^{F} et T un tore maximal F -stable de L. Notons W (L, T)^{⊥} le sous-groupe de W (G, T) engendré par les réflexions associées aux racines de G pour T qui sont orthogonales à toutes celles de L. Il existe un sous-groupe V ⊆ N_{G^{F}} (T) tel que (∗) p_{T}(V) est un ℓ-sous-groupe de Sylow de (W (L, T)^{⊥})^{F} et T ∩ V = {1}.

Lorsque ces conditions sont remplies, le produit ZV est semi-direct avec Z ˙◁ ZV (Notation 2.2) et ZV est un ℓ-sous-groupe de Sylow de G^{F}. DÉMONSTRATION DU THÉORÈME. D’après la Proposition 4.2, le quotient N_{G^{F}} (T)/T_{2}^{F} est le produit semi-direct T_{2′}^{F} {> \atop ◁}W (G, T)^{F} défini par l’action naturelle de W (G, T)^{F} sur T^{F} (le groupe N^{F} fournissant un complément). Comme ℓ ≠ 2, ceci implique l’existence de V satisfaisant (∗). Un tel V normalise Z puisque p_{T}^{−1}(W (L, T)^{⊥}) normalise L. De plus, V ∩Z = {1} car Z ⊆ T. Il suffit de montrer qu’au moins un tel V est tel que Z ˙◁ ZV et ZV est un ℓ-sous-groupe de Sylow de G^{F}. Etablissons cela par récurrence sur la dimension de G. Le cas où G = T est trivial : G^{F} = Z.

Rappelons la décomposition G = G_{a}G_{b} de [5] 2.3 associée à ℓ dès que ℓ ne divise pas q. Le sous-groupe G_{a} est engendré par Z(G)^{∘} et les composants semi-simples F -stables de [G, G] de types rationnels (A_{m}, εq^{k}) avec k, m ≥ 1 et q^{k} ≡ ε modulo ℓ ; G_{b} est engendré par les autres composants de [G, G]. Si ℓ ≥ 5, alors Z(G_{b})^{F}, G^{F} /G_{a}^{F} G_{b}^{F} et Q(G_{b})/(1 − F)Q(G_{b}) (où Q(G) désigne le groupe fondamental de G) sont d’ordres premiers à ℓ par construction. En conséquence, l’application naturelle G_{a}^{F} × G_{b}^{F} → G^{F} induit des isomorphismes entre les ℓ-sous-groupes. Par récurrence, on est donc ramené aux cas G = G_{a} et G = G_{b}. 4.5. LE CAS G = G_{a}. − Soit π: G → G_{ad} = G/Z(G) la surjection canonique. Alors π(S), π(T) et π(L) jouent le même rôle dans G_{ad} et un calcul banal dans le groupe projectif linéaire montre que si G = G_{a} alors L = T (“tore diagonal”) et N_{G^{F}} (T) contient un ℓ-sous-groupe de Sylow de G^{F} (plus généralement, on peut appliquer [4] 3.4 (4)). D’après la Proposition 2.3, il nous reste à prouver que W (G, T)^{F} n’a pas d’élément quadratique ≠ 1 sur T_{ℓ}^{F}. On a W (G, T) ≅ W (π(G), π(T)) et, si le type rationnel de G est ∏_{i}(A_{m_{i}}, ε_{i}q^{k_{i}}), alors W = W (π(G), π(T))^{F} est isomorphe à ∏_{i} S_{m_{i}+1} et son opération sur π(T)^{F} est l’opération naturelle sur B/B^{W} où B = ∏_{i}(ZZ/(q^{k_{i}} − ε_{i})ZZ)^{m_{i}+1}. Pour montrer que W n’a pas d’élément quadratique ≠ 1 sur T_{ℓ}^{F}, il suffit de vérifier qu’il n’en a pas sur π(T_{ℓ}^{F}) = π(T^{F})_{ℓ}. Or π(T^{F}) = π(G^{F}) ∩ π(T) ⊇ [π(T)^{F} , W] car [π(T)^{F} , W] ⊆ [π(G)^{F} , π(G)^{F}] ⊆ π(G^{F}) (le quotient π(G)^{F} /π(G^{F}) est abélien). Ainsi π(T^{F})_{ℓ} contient [B_{ℓ}/B_{ℓ}^{W} , W] et le Lemme 4.1 s’applique puisque ℓ ≥ 5. 4.6. LE CAS G = G_{b}. − Si S = {1}, alors P_{G,F} n’est pas divisible par ϕ_{e} ([4] 3.4.(1)). Il est alors facile de voir qu’il n’est divisible par aucun ϕ_{eℓ^{a}} pour a ≥ 1 : on consultera les formules classiques donnant P_{G,F} (voir [8] p.75 ou [10] 11.16). Ainsi |G^{F} | = P_{G,F} (q) est premier à ℓ et le théorème est trivial.

Si S ≠ {1}, alors |Z| ≥ |S_{ℓ}^{F} | = P_{S,F} (q)_{ℓ} > 1. Prenons V satisfaisant (∗). D’après le Théorème 3.1.(1), il suffit de vérifier que ZV est un ℓ-sous-groupe de Sylow de N_{G^{F}} (Z) et que Z ˙◁ ZV. Pour cela, prenons V′ un ℓ-sous-groupe tel que ZV ⊆ V′ ⊆ N_{G^{F}} (Z) et montrons que V′ = ZV et Z ˙◁ V′. Puisque Z est un ℓ-sous-groupe non trivial sur lequel V′ opère, il existe x ∈ C_{Z}(V′) \ {1}. Définissons H = C_{G}(x)^{∘}. C’est un sous-groupe réductif connexe ([3] 3.13) de G, propre puisque Z(G)_{ℓ}^{F} = {1}. De plus, V′ ⊆ H^{F} car V′ ⊆ C_{G^{F}} (x) et le quotient C_{G}(x)^{F} /(C_{G}(x)^{∘})^{F} ≅ (C_{G}(x)/C_{G}(x)^{∘})^{F} est isomorphe à un sous-groupe de Q(G)/(1 − F)Q(G) (voir [10] 9.1 (a)). On a aussi H ⊇ L ⊇ T ⊇ S ; on peut donc appliquer l’hypothèse de récurrence à H. On obtient alors que ZV est un ℓ-sous-groupe de Sylow de H^{F} et Z ˙◁ ZV. En particulier V′ = ZV et Z ˙◁ ZV comme annoncé. 4.7. REMARQUE. Pour ℓ = 2, 3, PGL_{ℓ}(IF_{13}) fournit un contre-exemple. Par contre, sous les hypothèses du théorème et si f: G^{F} → G est un morphisme de groupes de noyau central, la démonstration précédente établit que f(ZV) = f(Z).V est un ℓ-sous-groupe de Sylow de f(G^{F}) et que le produit est semi-direct avec f(Z) ˙◁ f(ZV).

(3) Sous-groupes unipotents. Fixons G un groupe algébrique simple sur un corps algébriquement clos de caractéristique p (éventuellement nulle), de rang semisimple ≥ 2. Soit F: G → G une isogénie telle que F définisse une structure rationnelle sur un corps fini, ou bien F = Id_{G}. Soit B un sous-groupe de Borel F -stable ; on note R_{u}(B) son radical unipotent et U = R_{u}(B)^{F}. 4.8. THÉORÈME. Le groupe q_{U}(U) (voir §2) est abélien si et seulement si p ≠ 2 et G est de type (éventuellement rationnel, voir 4.3) G_{2}, ^{3}D_{4}, ^{2}A_{2n−1} ou C_{n} pour n ≥ 2. De plus, q_{U}(U) ˙◁ U si et seulement si G est de type ^{2}A_{2n−1} ou C_{n} pour n ≥ 2 et p ≠ 2 : alors q_{U}(U) = R_{u}(P)^{F} où P est le sous-groupe parabolique F -stable maximal contenant B et tel que P/R_{u}(P) soit de type (rationnel) A_{n−1}.

La démonstration du théorème utilise essentiellement la formule des commutateurs de Chevalley ([3] 2.5, [7] 5.2). Pour p = 0, le théorème est équivalent à un énoncé analogue concernant les idéaux abéliens des sous-algèbres nilpotentes maximales des algèbres de Lie simples complexes.

Références bibliographiques.

[1] J. L. Alperin, Large abelian subgroups of p-groups, Trans. Amer. Math. Soc., 117 (1965), 10-20.

[2] J. L. Alperin, M. Broué, Local methods in block theory, Ann. Math., 110 (1979), 143-157.

[3] A. Borel, J. Tits, Groupes Réductifs, Publ. Math. I.H.E.S. 27 (1965), 55-151.

[4] M. Broué, G. Malle, Théorèmes de Sylow génériques pour les groupes réductifs sur les corps finis, Math. Ann., 292 (1992), 241-262.

[5] M. Cabanes, M. Enguehard, On unipotent blocks and their ordinary characters, Invent. Math. (1994) sous presse.

[6] M. Cabanes, M. Enguehard, Local methods for the blocks of the finite reductive groups, (1994) en préparation.

[7] R. W. Carter, Simple Groups of Lie type, Wiley, 1972.

[8] R. W. Carter, Finite Groups of Lie type : Conjugacy classes and Complex Characters, Wiley, 1985.

[9] D. Gorenstein, Finite Groups, Harper and Row, New York,1968.

[10] R. Steinberg, Endomorphisms of linear algebraic groups, A.M.S. Memoirs 80 (1968).

[11] J. Tits, Normalisateurs de tores I. Groupes de Coxeter étendus , J. Algebra 4 (1966), 96-116.

D.M.I., Ecole normale supérieure, 45, rue d’Ulm, 75005 Paris. 7