Vol. 83, No. 2  DUKE MATHEMATICAL JOURNAL \begin{matrix}c \\ ◯ \end{matrix}  May 1996

CORRESPONDANCE DE HOWE POUR LES GROUPES RÉDUCTIFS SUR LES CORPS FINIS

ANNE-MARIE AUBERT, JEAN MICHEL ET RAPHAËL ROUQUIER

Soit (G, G′) une paire de sous-groupes d’un groupe symplectique Sp_{2n}(𝔽_{q}) (où 𝔽_{q} est un corps fini de caractéristique p impaire) dont chacun est le centralisateur de l’autre dans Sp_{2n}(𝔽_{q}). Suivant R. Howe (voir [H1] et [H2]), il y a une correspondance entre représentations de G et de G′ donnée par la représentation de Weil ω du groupe symplectique Sp_{2n}(q) := Sp_{2n}(𝔽_{q}).

Plus précisément, si (G_{m}, G′_{m′}) est une paire réductive duale irréductible dans Sp_{2n}(q), i.e., l’une des paires (Sp_{2m}(q), O_{2m′}^{±}(q)) (avec n = 2mm′), (Sp_{2m}(q), O_{2m′+1}(q)) (avec n = m(2m′ + 1)), (U_{m}(q), U_{m′}(q)), (GL_{m}(q), GL_{m′}(q)) (avec n = mm′), la restriction de ω à G_{m}.G′_{m′} définit une application entre groupes de Grothendieck de représentations complexes R(G_{m}) → R(G′_{m′}) que nous appellerons correspondance de Howe.

Le but de notre article est de décrire cette correspondance. Nous obtenons une formule explicite pour les paires linéaires et unitaires et présentons une formule conjecturale pour les paires symplectiques-orthogonales.

Nous partons d’un résultat de Bhama Srinivasan ([Sr, 4.3]) décrivant la projection sur l’espace des fonctions uniformes (i.e., combinaisons linéaires de caractères de Deligne-Lusztig) de la restriction à G_{m}.G′_{m′} d’une représentation apparentée ω^{♭} qui a été définie par Gérardin (cf. [G, th. 2.4 (c)]). Pour les paires symplectiquesorthogonales, les représentations ω et ω^{♭} ont même restriction à G_{m}.G′_{m′}; dans les cas linéaires et unitaires, ces restrictions diffèrent par la multiplication par une représentation de G_{m} à valeur dans {−1, 1}. L’étude de la correspondance de Howe peut donc être remplacée par celle de l’application linéaire Θ entre groupes de Grothendieck R(G_{m}) → R(G′_{m′}) induite par ω^{♭}.

Le groupe G_{m} étant dans tous les cas considérés l’ensemble des points rationnels d’un groupe algébrique réductif G sur une clôture algébrique \overline{𝔽}_{q} de 𝔽_{q}, défini sur 𝔽_{q}, si F est l’endomorphisme de Frobenius correspondant, on a G_{m} = G^{F}. B. Srinivasan n’ayant considéré que les paires (Sp_{2m}(q), SO_{2m′}^{±}(q)) (au lieu de toutes les paires symplectiques-orthogonales), nous supposerons les groupes orthogonaux pairs dans la suite, sauf mention contraire. Cependant nous pourrons traiter le cas de O_{2m′} (et pas seulement SO_{2m′}) en étendant certains résultats aux groupes non connexes. Soit G un groupe algébrique connexe, et soit G^{∗} un groupe dual de G (i.e., dont le système de racines est dual du système de racines de G) et F^{∗} une isogénie de G^{∗} duale de F. Lusztig a défini une partition de l’ensemble des représentations ir-

Reçu le 15 octobre 1993. Révision reçue le 7 juillet 1995. 353

réductibles de G^{F} en séries E(G^{F} , (s)) paramétrées par les classes de conjugaison F^{∗}-stables d’éléments semi-simples s de G^{∗}. Les représentations unipotentes sont par définition les éléments de E(G^{F} , 1), et cette partition est analogue à une “décomposition de Jordan” : E(G^{F} , (s)) est en bijection avec E(C_{G^{∗}}(s)^{F^{∗}}, 1). Nous étendons cette description au cas où G = G^{∗} = O_{2m′}.

Une conséquence facile du résultat de Srinivasan est la compatibilité de la correspondance de Howe avec les séries de Lusztig. Plus précisément, si (G, F), (G′, F′) sont tels que G_{m} = G^{F}, G′_{m′} = G^{′F′}, et si χ ∈ E(G^{F} , (s)), où (s) est la classe de G^{∗}–conjugaison d’un élément semi-simple s de G^{∗F^{∗}}, alors il existe une classe de G^{′∗}– conjugaison semi-simple (s′) bien définie de G^{′∗} telle que Θ(χ) soit dans le sous-espace R(G^{′F′}, (s′)) de R(G^{′F′}) engendré par E(G^{′F′}, (s′)) et cette application entre classes semi-simples est induite par l’inclusion naturelle d’un des groupes G^{∗F^{∗}} ou G^{′∗F^{′∗}} dans l’autre (cf. proposition 2.3; cette situation est analogue à celle considérée dans [A] pour des paires réductives duales sur un corps p-adique). En particulier, l’image par la correspondance de Howe d’une représentation irréductible unipotente est une somme de représentations irréductibles unipotentes.

Nous montrons (théorème 2.6) que la projection uniforme de la restriction de ω^{♭} au sous-espace R(G^{F} , (s))⊗R(G^{′F′}, (s′)) se décrit en fonction de la correspondance entre représentations unipotentes de C_{G^{∗}}(s)^{F^{∗}} et C_{G^{′∗}}(s′)^{F^{′∗}} induite, suivant la composante irréductible, soit par ω^{♭}, soit par R (où, pour un groupe fini H, on désigne par R la représentation naturelle de H × H sur \overline{ℚ}_{ℓ}H). Il est naturel de conjecturer que cette description reste valable sans prendre la projection uniforme. Dans la suite nous ne considérons que la restriction de ω^{♭} aux représentations unipotentes.

Un raisonnement analogue à celui fait par Kudla pour les groupes p-adiques [K, th. 2.5] montre que la correspondance de Howe est compatible à la répartition des représentations irréductibles en “séries de Harish-Chandra” associées (au moyen de l’induction parabolique) à des paires formées d’un sous-groupe de Levi et d’une représentation irréductible cuspidale de ce dernier (cf. théorème 3.7).

Parmi les groupes membres d’une paire duale irréductible, seuls O_{2k^{2}}^{+}(q) avec k pair, O_{2k^{2}}^{−}(q) avec k impair, Sp_{2(k^{2}+k)}(q) et U_{\frac{1}{2} (k^{2}+k)}(q) possèdent une représentation unipotente cuspidale; ces groupes ont une unique représentation unipotente cuspidale excepté O_{2k^{2}}^{±}(q) qui en possède deux, extensions de l’unique représentation unipotente cuspidale de SO_{2k^{2}}^{±}(q). A toute représentation unipotente cuspidale est ainsi associé un entier k; Adams et Moy ont démontré que la correspondance de Howe au niveau des représentations unipotentes cuspidales est donnée par une application θ telle que θ(k) = k ± 1 si k ≠ 0 et θ(0) = 0 ou 1 (cf. [AM, th. 4.1 et 5.2]).

CORRESPONDANCE DE HOWE … 355

Les représentations irréductibles du groupe Sp_{2m}(q), (resp. O_{2m′}^{±}(q), resp. U_{m}(q)) d’une même série de Harish-Chandra sont en bijection avec les représentations irréductibles d’un groupe de Weyl de type B_{m−k^{2}−k} (resp. B_{m′−k^{2}}, resp. B_{\frac{1}{2} (m− \frac{k^{2}+k}{2} )}) (cf. [L2] ou [C, §13.8] et notre lemme 3.2). Pour les paires réductives duales irréductibles (Sp_{2m}(q), O_{2m′}^{±}(q)) et (U_{m}(q), U_{m′}(q)), la correspondance de Howe entre séries de Harish-Chandra de représentations irréductibles unipotentes se traduit donc par une correspondance entre des paires de groupes de Weyl respectivement de type (B_{m−k^{2}−k}, B_{m′−θ(k)^{2}}) et de type (B_{\frac{1}{2} (m− \frac{k^{2}+k}{2} )}, B_{\frac{1}{2} (m− \frac{θ(k)^{2}+θ(k)}{2} )}).

Soit (W_{l}, W_{l′}) une telle paire de groupes de Weyl de type (B_{l}, B_{l′}). Nous notons φ l’unique homomorphisme de W_{l} dans {−1, 1} de noyau le sous-groupe de type D_{l} de W_{l}. Si r est un entier compris entre 0 et l, nous désignons par Irr(W_{r}) l’ensemble des caractères irréductibles de W_{r}; le groupe W_{r} × W_{l−r} s’envoie naturellement dans W_{l}. Nous démontrons (théorème 3.10) que la correspondance de Howe au niveau des paires de groupes de Weyl est décrite par l’un des termes suivants :

∑_{0≤r≤min(l,l′)} ∑_{χ∈Irr(W_{r})} (Ind_{W_{r}×W_{l−r}}^{W_{l}} χ ⊗ Id) ⊗ (Ind_{W_{r}×W_{l′−r}}^{W_{l′}} φχ ⊗ Id),

pour la paire (U_{m}(q), U_{m′}(q)) avec k impair ou k = k′ = 0;

∑_{0≤r≤min(l,l′)} ∑_{χ∈Irr(W_{r})} (Ind_{W_{r}×W_{l−r}}^{W_{l}} χ ⊗ φ) ⊗ (Ind_{W_{r}×W_{l′−r}}^{W_{l′}} φχ ⊗ Id),

pour la paire (U_{m}(q), U_{m′}(q)) sinon.

Nous conjecturons (conjecture 3.11) que la correspondance de Howe est donnée par les formules suivantes :

∑_{0≤r≤min(l,l′)} ∑_{χ∈Irr(W_{r})} (Ind_{W_{r}×W_{l−r}}^{W_{l}} χ ⊗ φ) ⊗ (Ind_{W_{r}×W_{l′−r}}^{W_{l′}} χ ⊗ φ),

pour la paire (Sp_{2m}(q), O_{2m′}^{+}(q)) si k est pair et la paire (Sp_{2m}(q), O_{2m′}^{−}(q)) si k est impair;

∑_{0≤r≤min(l,l′)} ∑_{χ∈Irr(W_{r})} (Ind_{W_{r}×W_{l−r}}^{W_{l}} χ ⊗ Id) ⊗ (Ind_{W_{r}×W_{l′−r}}^{W_{l′}} χ ⊗ φ),

pour la paire (Sp_{2m}(q), O_{2m′}^{+}(q)) si k est impair et la paire (Sp_{2m}(q), O_{2m′}^{−}(q)) si k est pair. Nous donnons des indices en faveur de cette conjecture au §6. En particulier, à l’aide d’un ordinateur, et en utilisant un résultat de Waldspurger [MVW, chap. 4, IV, 5] qui montre que la restriction de la représentation de Weil est sans multiplicité pour les paires de type I, nous avons vérifié cette conjecture pour m, m′ ≤ 11.

Nous décrivons aussi entièrement la correspondance de Howe dans le cas des paires (GL_{m}(q), GL_{m′}(q)) (dites de type II) au théorème 5.5.

L’une des motivations de cet article est l’existence d’une correspondance du même type entre représentations de deux groupes p–adiques qui sont membres d’une paire réductive duale. Sur un corps p–adique, la représentation de Weil étant seulement une représentation projective, on doit remplacer le groupe symplectique par un revêtement, le groupe métaplectique (voir [H3, pour une introduction à ce sujet]); une autre différence avec le cas fini réside dans le fait que sur les corps p–adiques la correspondance est bijective pour les paires qui ne sont pas de type II (conjecture de Howe maintenant démontrée, voir [W]). En dépit de ces différences, la correspondance sur les corps p–adiques est liée à celle sur les corps finis, comme le montre en particulier l’article de Howe [H4] et l’on remarque des analogies concernant son comportement fonctoriel (comparer la proposition 2.3 à [A, th. 5.9]).

Sommaire

1. Rappels et notations.

1.A. Groupes classiques sur les corps finis 1.B. Éléments semi-simples et centralisateurs. 1.C. La représentation de Weil et la correspondance de Howe 1.D. Caractères de Deligne-Lusztig et séries de Lusztig. 1.E. Représentations unipotentes.

2. Correspondance de Howe et caractères de Deligne-Lusztig 2.A. Représentation de Weil et fonctions uniformes 2.B. Correspondance de Howe et séries de Lusztig 2.C. Réduction au cas unipotent

3. Correspondance de Howe et séries de Harish-Chandra.

3.A. Séries de Harish-Chandra. 3.B. L’algèbre de Hopf R𝔖. 3.C. L’algèbre de Hopf RB. 3.D. Résultats et conjectures.

4. Une décomposition en terme de caractères fantômes.

5. Description explicite de la correspondance de Howe dans les cas linéaires et unitaires 5.A. Une première description. 5.B. Étude des 2-cœurs. 5.C. Description à l’aide des 2-quotients.

6. Cas symplectique-orthogonal : indices pour la conjecture.

1. Rappels et notations. Soit H un groupe fini. Nous noterons Z(H) le centre de H, Irr(H) l’ensemble des caractères des représentations irréductibles complexes, ou dans \overline{ℚ}_{ℓ}, de H et R(H) le groupe des caractères, de base Irr(H) sur ℤ. Pour h, g ∈ H on note ^{h}g pour hgh^{−1}.

Soit <F > un groupe cyclique de générateur F agissant sur H. On notera h ↦ ^{F}h l’action de F. On dit que deux éléments h et k de H sont F -conjugués si les éléments hF et kF de H⋊<F > sont conjugués. On note H^{F} les points fixes de H par F.

Dans la suite, 𝔽_{q} désignera le corps fini à q (une puissance d’un nombre premier impair p) éléments et \overline{𝔽}_{q} une clôture algébrique de 𝔽_{q}.

Soit G un groupe algébrique sur \overline{𝔽}_{q}, défini sur 𝔽_{q}, et soit F l’endomorphisme de Frobenius correspondant. Rappelons que les classes de G^{F} -conjugaison de tores maximaux rationnels de G sont paramétrées par les F -classes (classes de F -conjugaison) du groupe de Weyl W_{G} de G, relatif à un tore maximal rationnel fixé T (cf. par exemple [C, prop. 3.3.3]). Cette bijection associe au tore ^{g}T (où g ∈ G) son “type” par rapport au tore T, qui est la F -classe de W_{G} définie par l’élément g^{−1}^{F}g ∈ N_{G}(T).

A. Groupes classiques sur les corps finis

Groupes linéaires et unitaires. Soit GL_{l} le groupe linéaire en dimension l sur \overline{𝔽}_{q}. C’est un groupe algébrique sur \overline{𝔽}_{q}, défini sur 𝔽_{q}; on peut le munir de deux 𝔽_{q}- structures, l’une correspondant à l’endomorphisme de Frobenius F^{+} qui agit par élévation à la puissance q des coefficients matriciels et l’autre correspondant à F^{−} défini par ^{F^{−}}g = ^{tF^{+}}g^{−1} (où ^{t}g désigne la matrice transposée de g). Le groupe GL_{l}^{F^{+}} est le groupe linéaire GL_{l}(q) en dimension l sur le corps 𝔽_{q}, et le groupe GL_{l}^{F^{−}}, est le groupe unitaire U_{l}(q) en dimension l relativement à l’automorphisme d’ordre 2 de (𝔽_{q^{2}}/𝔽_{q}). Nous le noterons aussi GL_{l}(−q), ce qui nous permettra de considérer simultanément les groupes linéaires et unitaires par la notation GL_{l}(εq) où ε ∈ {−1, 1}.

Soit F un endomorphisme qui est soit F^{+}, soit F^{−}. Soit T_{l} le tore des matrices diagonales de GL_{l}. Ce tore est F -stable; il est déployé dans le cas linéaire, mais tout sous-groupe de Borel le contenant est envoyé par F sur le sous-groupe de Borel opposé dans le cas unitaire. Dans les deux cas, le groupe de Weyl N_{GL_{l}}(T_{l})/T_{l} s’identifie au groupe symétrique 𝔖_{l}, l’élément w de 𝔖_{l} envoyant diag(t_{1}, t_{2}, …, t_{l}) ∈ T_{l} sur diag(t_{w(1)}, t_{w(2)}, …, t_{w(l)}), et l’action de F sur 𝔖_{l} est triviale; les GL_{l}^{F} -classes de tores maximaux rationnels sont donc paramétrées par les classes de conjugaison de 𝔖_{l}.

Géométries orthogonales et symplectiques. Soit V un \overline{𝔽}_{q}-espace vectoriel muni d’une forme bilinéaire non dégénérée <, > qui est soit alternée soit symétrique. Dans le cas où la forme <, > est symétrique la forme quadratique associée est équivalente à la forme

x_{1}x_{1′} + x_{2}x_{2′} + ⋯ + x_{l}x_{l′} si dim V = 2l
x_{1}x_{1′} + x_{2}x_{2′} + ⋯ + x_{l}x_{l′} + x_{0}^{2} si dim V = 2l + 1.

Soit Sp_{2l} (resp. O_{2l} ou O_{2l+1}) le groupe des automorphismes de (V, <, >) si la forme <, > est alternée (resp. symétrique). Dans la suite de cette partie nous supposerons que V est un espace vectoriel quadratique de dimension paire. Les groupes O_{2l} et Sp_{2l} ont tous deux pour tore maximal le tore T_{l} des matrices diagonales d’entrées (t_{1}, …, t_{l}, t_{l}^{−1}, …, t_{1}^{−1}) que nous noterons encore diag(t_{1}, …, t_{l}). Soient F^{+} l’endomorphisme qui élève tous les coefficients d’une matrice à la puissance q (le groupe O_{2l}^{+}(q) = O_{2l}^{F^{+}} est alors le groupe orthogonal sur 𝔽_{q} de la forme quadratique considérée) et F^{−} l’endomorphisme défini par F^{−}(g) = σF^{+}(g)σ^{−1} pour g ∈ O_{2l}, où σ est un élément fixé stable par F^{+} de O_{2l} − SO_{2l} (où SO_{2l} est la composante neutre de O_{2l}). Deux tels éléments σ différant par un élément de SO_{2l}, deux choix de F^{−} diffèrent par un automorphisme intérieur et les groupes de points rationnels sont isomorphes. Nous prendrons pour σ la matrice

σ = ( \begin{matrix}Id & l−1 \\ & 0 & 1 \\ & 1 & 0 \\ Id & l−1 \end{matrix} ) .

Le groupe O_{2l}^{−}(q) = O_{2l}^{F^{−}} est le groupe orthogonal sur 𝔽_{q} pour l’autre classe d’équivalence de formes quadratiques.

Soit T_{l} le tore diagonal de Sp_{2l}, et W (C_{l}) = N_{Sp_{2l}}(T_{l})/T_{l} le groupe de Weyl correspondant. Le groupe W (C_{l}) s’identifie naturellement au groupe W_{l} des permutations de {1, 2, …, l, l′, …, 2′, 1′} qui commutent avec l’involution (11′)(22′) ⋯ (ll′). Pour tout j ∈ {1, …, l − 1} nous noterons s_{j} ∈ W_{l} la permutation qui échange j et j+1 ainsi que j′ et (j+1)′ et laisse fixes les autres éléments. Soit σ_{r} ∈ W_{l} (1 ≤ r ≤ l) la permutation qui échange r et r′ et laisse fixes les autres éléments. On vérifie facilement que

(1.1)  σ_{r} = s_{r}s_{r+1} ⋯ s_{l−1}σ_{l}s_{l−1} ⋯ s_{r+1}s_{r}.

Alors {s_{1}, s_{2}, …, s_{l−1}, σ_{l}} est un système de générateurs de W_{l} en tant que groupe de Coxeter. Soit φ_{l}: W_{l} ⟶ {−1, +1} l’homomorphisme défini sur les générateurs par φ_{l}(s_{j}) = 1 pour 1 ≤ j ≤ l − 1 et φ_{l}(σ_{l}) = −1. Par 1.1 on a φ_{l}(σ_{r}) = −1, d’où φ_{l}|_{W_{l−1}} = φ_{l−1} ; ceci nous autorisera à noter φ sans préciser l’indice. On peut voir que

(1.2)  φ(w) = (−1)^{|{w(1),...,w(l)}∩{1′,...,l′}|}

car l’égalité est vraie pour w un des générateurs de {s_{1}, s_{2}, …, s_{l−1}, σ_{l}} et puisque l’application w ↦ (−1)^{|{w(1),...,w(l)}∩{1′,...,l′}|} est un morphisme de W_{l} dans {−1, +1}.

Une permutation dans W_{l} définit une permutation de l’ensemble formé des couples (1, 1′), (2, 2′), …, (l, l′). On en déduit un homomorphisme de W_{l} dans le groupe symétrique 𝔖_{l}.

Nous noterons W_{l}^{+} le noyau de φ; (W_{l}^{+}, {s_{1}, s_{2}, …, s_{l−1}, σ_{l}s_{l−1}σ_{l}}) est un groupe de Coxeter qui s’identifie naturellement au groupe de Weyl W (D_{l}) = N_{SO_{2l}}(T_{l})/T_{l}. Nous noterons W_{l}^{−} la classe W_{l}^{+}σ_{l}.

Nous noterons parfois s′ = s_{l−1} et s′′ = σ_{l}s_{l−1}σ_{l} : ce sont les deux extrémités de la “fourche” du diagramme de Dynkin D_{l}. Soient r et r̃ deux entiers naturels tels que r + r̃ = l et soit w l’élément de W_{l}^{+} qui échange r + 1 et (r + 1)′ ainsi que l et l′ et laisse fixes les autres éléments. Pour r ≤ l − 2, on a σ_{r}σ_{l} = s_{r}ws_{r}.

Le groupe de Weyl N_{O_{2l}}(T_{l})/T_{l} est naturellement isomorphe à W_{l}, et cet isomorphisme identifie l’élément σ de O_{2l} − SO_{2l} défini au paragraphe précédent à σ_{l}. On a W_{l} = W (D_{l}) ∪ σ_{l}W (D_{l}).

Le groupe de Weyl W (B_{l}) de SO_{2l+1} s’identifie naturellement au groupe W_{l}. Pour l’inclusion naturelle (O_{2l}, F^{+}) ↪ (SO_{2l+1}, F) un tore F^{+}-stable de type w ∈ W (D_{l}) de SO_{2l} est du même type w comme tore de SO_{2l+1}, via l’inclusion W_{l}^{+} ⊂ W_{l}; pour l’inclusion (O_{2l}, F^{−}) ↪ (SO_{2l+1}, F) (définie par exemple par x ↦ ^{g}x où g^{−1}.^{F}g = σ_{l}) un tore F^{−}-stable de type w de SO_{2l} est de type σ_{l}w comme tore de SO_{2l+1} ; de plus la fusion des classes de tores rationnels de (SO_{2l}, F^{+}) (resp. (SO_{2l}, F^{−})) par la conjugaison sous SO_{2l+1}(q) est la même que celle sous O_{2l}^{+}(q) (resp. O_{2l}^{−}(q)). Il y a donc une bijection naturelle entre l’ensemble des classes de conjugaison sous SO_{2l+1}(q) des tores rationnels de SO_{2l+1} et l’union de l’ensemble des classes de O_{2l}^{+}(q)-conjugaison des tores rationnels de (SO_{2l}, F^{+}) et de l’ensemble des classes de O_{2l}^{−}(q)-conjugaison des tores rationnels de (SO_{2l}, F^{−}).

B. Éléments semi-simples et centralisateurs. Soit G un des groupes GL_{l}, SO_{2l+1} ou O_{2l}, et F un endomorphisme de Frobenius sur G tel que G^{F} soit l’un des groupes GL_{l}(εq), SO_{2l+1}(q) ou O_{2l}^{±}(q). Soit T_{l} le tore maximal de G formé des matrices diagonales; on a ^{F}T_{l} = T_{l}. On a naturellement T_{l} ≃ \overline{𝔽}_{q}^{l}; si s = diag(λ_{1}, …, λ_{l}) ∈ T_{l} nous appellerons les λ_{i} par convention les “valeurs propres” de s (dans le cas G = GL_{l} il s’agit bien des valeurs propres de s comme élément de GL_{l}, mais dans le cas O_{2l} (resp. SO_{2l+1}) les “vraies” valeurs propres de s sont λ_{1}, …, λ_{l}, λ_{l}^{−1}, …, λ_{1}^{−1} (resp. λ_{1}, …, λ_{l}, 1, λ_{l}^{−1}, …, λ_{1}^{−1})). Choisissons un ordre total sur \overline{𝔽}_{q} tel 1 soit le plus grand élément, et −1 le plus grand après 1, et soit (T_{l})_{≤} le sous-ensemble de T_{l} formé des éléments dont les valeurs propres sont en ordre croissant pour cet ordre. Tout élément semi-simple de G est conjugué à un unique élément de (T_{l})_{≤}. Pour s ∈ (T_{l})_{≤} et λ ∈ \overline{𝔽}_{q}, nous notons ν_{λ}(s) le nombre de valeurs propres de s égales à λ.

Soient C_{G}(s) le centralisateur dans G de s et W (s) = {w ∈ W_{G} | ^{w}s = s} le groupe de Weyl de C_{G}(s). Nous noterons Z(s) l’ensemble des w ∈ W_{G} tels que ^{wF}s = s. Un élément s ∈ (T_{l})_{≤} est conjugué à un élément de G^{F} si et seulement si Z(s) ≠ ∅ : si w ∈ Z(s) et x ∈ G est tel que x^{−1}^{F}x = w, le couple (wF, s) est conjugué par x à (F,^{x}s), et par conséquent (wF, C_{G}(s)) est conjugué à (F, C_{G}(^{x}s)). Pour décrire les centralisateurs des éléments semi-simples de G et leur structure rationnelle, il suffit donc de décrire C_{G}(s) et Z(s) pour s ∈ (T_{l})_{≤}.

Le groupe C_{G}(s) a une décomposition naturelle en produit suivant les valeurs propres de s : C_{G}(s) = ∏_{λ} G_{λ}(s) où G_{λ}(s) est un groupe réductif quasi-simple de rang ν_{λ}(s). Si G = GL_{l}, ou si λ ≠ ±1, on a G_{λ}(s) ≃ GL_{ν_{λ}(s)}. Si G = SO_{2l+1}, on a G_{−1}(s) ≃ O_{2ν_{−1}(s)} et G_{1}(s) ≃ SO_{2ν_{1}(s)+1} ; si G = SO_{2l}, et si ν_{−1}(s) et ν_{1}(s) sont tous deux non nuls, on a G_{−1}(s) × G_{1}(s) ≃ (SO_{2ν_{−1}(s)} × SO_{2ν_{1}(s)})⋊<σ_{s}>, où σ_{s} est un élément qui induit l’automorphisme extérieur non trivial simultanément sur SO_{2ν_{−1}(s)} et sur SO_{2ν_{1}(s)} ; si ν_{−1}(s) ou ν_{1}(s) est nul, alors G_{−1}(s) ≃ SO_{2ν_{−1}(s)} et G_{1}(s) ≃ SO_{2ν_{1}(s)}. Si G = O_{2l}, la description de C_{G}(s) ne change pas sauf que dans tous les cas on a G_{−1}(s) × G_{1}(s) ≃ O_{2ν_{−1}(s)} × O_{2ν_{1}(s)}.

Le groupe W (s) a une décomposition en produit correspondant à celle de C_{G}(s) : W (s) = ∏_{λ} W_{λ}(s). D’après la description ci-dessus, pour G = SO_{2l+1} ou O_{2l}, on a W_{−1}(s) ≃ W (B_{ν_{−1}(s)}) et W_{1}(s) ≃ W (B_{ν_{1}(s)}). Enfin Z(s) est une classe de la forme w.W (s).

On pose ε_{G} = (−1)^{𝔽_{q}-rang de G}, où par définition le 𝔽_{q}-rang de G est la dimension d’un tore déployé maximal de G. Si (F,^{x}s) est conjugué à un couple (wF, s) où s ∈ (T_{l})_{≤} et w ∈ Z(s), nous aurons besoin de calculer ε_{G}ε_{C_{G}(^{x}s)}. Soit Φ_{s} le système de racines de C_{G}^{0}(s), et soit Φ_{s}^{+} l’ensemble des racines de Φ_{s} positives pour l’ordre défini par le sous-groupe de Borel B ⊃ T_{l}. On dit que w_{1} ∈ Z(s) est Φ_{s}-réduit si w_{1}FΦ_{s}^{+} = Φ_{s}^{+}. Si on note W^{0}(s) le groupe de Weyl de C_{G}^{0}(s), alors toute classe à gauche de Z(s) sous W^{0}(s) possède un unique élément Φ_{s}-réduit.

1.3 Lemme. Si le couple (F,^{x}s) est conjugué au couple (wF, s), alors ε_{G}ε_{C_{G}(^{x}s)} = (−1)^{l(w_{1})} où w_{1} est l’unique élément Φ_{s}-réduit de la classe W^{0}(s)wF, si (G, F) est un groupe linéaire, orthogonal ou symplectique. Si (G, F) est un groupe unitaire, ε_{G}ε_{C_{G}(^{x}s)} = (−1)^{l(w_{1})+l(w_{0})+l(w′_{0})}, où w_{0} (resp. w′_{0}) est l’élément de plus grande longueur de W_{G} (resp. W_{1}(s)).

Démonstration. Si T′ est un tore maximalement déployé de (wF, C_{G}(s)) alors on a ε_{T′} = ε_{C_{G}(s)} ; de même, si (G, F) est un groupe linéaire, orthogonal ou symplectique, on a ε_{G} = ε_{T_{l}}, puisque T_{l} est inclus dans un sous-groupe de Borel B rationnel et est donc maximalement déployé. Si (G, F) est un groupe unitaire, par [DM3, 12.10] on a ε_{G} = ε_{T_{l}}(−1)^{l(w_{0})}, puisque dans ce cas T_{l} est de type w_{0} par rapport à un tore maximalement déployé. De même, on a ε_{T′}ε_{T_{l}} = (−1)^{l(w′)}, où w′ est le type de T′. Il reste donc a voir que w′ = w_{1}, ce qui est clair car par construction w_{1}F stabilise le sous-groupe de Borel B ∩ C_{G}^{0}(s).

C. La représentation de Weil et la correspondance de Howe. Nous adoptons la présentation figurant dans [H1]. Le groupe H_{n} formé des points rationnels du radical unipotent du sous-groupe parabolique standard de GL_{n+2} de sous-groupe de Levi GL_{1}×GL_{n}×GL_{1} est appelé le n-ième groupe de Heisenberg sur 𝔽_{q}; on a Z(H_{n}) ≃ 𝔽_{q}, le commutateur induit une forme alternée <<, >> sur H_{n}/Z(H_{n}) ≃ 𝔽_{q}^{2n}, et H_{n} ≃ 𝔽_{q}^{2n} ⋊ 𝔽_{q} avec pour loi de groupe

(v, z)(v′, z′) = (v + v′, z + z′ + \frac{1}{2}<< v, v′ >>).

Le groupe symplectique Sp_{2n}(q) des transformations linéaires de 𝔽_{q}^{2n} préservant la forme <<, >> agit donc sur H_{n} comme un groupe d’automorphismes, qui laissent stable 𝔽_{q}^{2n} et fixent 𝔽_{q} point par point (dans la décomposition 𝔽_{q}^{2n} ⋊ 𝔽_{q}).

Pour tout caractère non trivial ζ de Z il existe, à isomorphisme près, une unique représentation (fidèle) ρ_{ζ} de H_{n} sur ℂ de restriction à Z égale à un multiple de ζ; cette représentation est de degré q^{n}. Puisque ρ_{ζ} est unique, Sp_{2n}(q) ⊂ Aut(H_{n}) stabilise la représentation ρ_{ζ}; nous obtenons ainsi une représentation projective de Sp_{2n}(q), de degré q^{n}.

Puisque H^{2}(Sp_{2n}(q), ℂ^{×}) = 0, cette représentation projective est une vraie représentation; elle est uniquement déterminée par ζ, si l’on exclut le cas Sp_{2}(3) = SL_{2}(3), car dans les autres cas, Sp_{2n}(q) étant engendré par ses commutateurs n’a pas de caractère linéaire non trivial. Cette représentation ω est appelée la représentation de Weil de Sp_{2n}(q) associée au caractère ζ.

Nous rappelons brièvement ci-dessous la classification des paires réductives duales irréductibles de Sp_{2n}(q) (cf. [H2, §3] ou [MVW, chap. I]).

(1) Soient V et V′ deux 𝔽_{q}-espaces vectoriels de dimensions respectives m et m′ avec mm′ = n. L’espace E = (V ⊗_{𝔽_{q}} V′) ⊕ (V ⊗_{𝔽_{q}} V′)^{∗} est symplectique de dimension 2n pour la forme <<, >> définie par :

<< x + x^{∗}, y + y^{∗} >> = y^{∗}(x) − x^{∗}(y), pour x, y ∈ V ⊗_{𝔽_{q}} V′ et x^{∗}, y^{∗} ∈ (V ⊗_{𝔽_{q}} V′)^{∗}.

Si G_{m} = GL(V) et G′_{m′} = GL(V′), le sous-groupe G_{m}.G′_{m′} de GL(E) est contenu dans le groupe symplectique Sp(E) et (G_{m}, G′_{m′}) est une paire réductive duale irréductible dans Sp(E).

(2) Soit V (resp. V′) un 𝔽_{q^{2}}-espace vectoriel de dimension m (resp. m′) muni d’une forme ε-hermitienne (resp. ε′-hermitienne) notée ⟨ , ⟩ (resp. ⟨ , ⟩′) avec ε, ε′ ∈ {−1, 1} et εε′ = −1. On suppose que mm′ = n. Alors E = V ⊗_{𝔽_{q^{2}}} V′ est un 𝔽_{q}-espace vectoriel symplectique pour la forme alternée non dégénérée :

<< v_{1} ⊗ v′_{1}, v_{2} ⊗ v′_{2} >> = Tr_{𝔽_{q^{2}} /𝔽_{q}}(⟨v_{1}, v_{2}⟩⟨v′_{2}, v′_{1}⟩′), pour v_{1}, v_{2} ∈ V et v′_{1}, v′_{2} ∈ V′;

nous désignerons par Sp(E) son groupe d’isométries et nous poserons G_{m} = U_{m}(q) et G′_{m′} = U_{m′}(q). Alors, le groupe G_{m}.G′_{m′} est contenu dans le groupe symplectique Sp(E) et (G_{m}, G′_{m′}) est une paire réductive duale irréductible dans Sp(E).

(3) Soit V (resp. V′) un 𝔽_{q}-espace vectoriel de dimension 2m (resp. m′_{1}) muni d’une forme alternée (resp. orthogonale) non dégénérée, notée ⟨ , ⟩ (resp. ⟨ , ⟩′). On suppose que mm′_{1} = n. Alors E = V ⊗_{𝔽_{q}} V′ est un 𝔽_{q}-espace vectoriel symplectique pour la forme alternée non dégénérée définie par :

<< v_{1} ⊗ v′_{1}, v_{2} ⊗ v′_{2} >> = (⟨v_{1}, v_{2}⟩⟨v′_{2}, v′_{1}⟩′), pour v_{1}, v_{2} ∈ V et v′_{1}, v′_{2} ∈ V′;

nous désignerons par Sp(E) son groupe d’isométries et nous poserons G_{m} = Sp_{2m}(q). Alors, le groupe G_{m}.G′ est contenu dans le groupe symplectique Sp(E), où G′ est le groupe orthogonal de la forme ⟨ , ⟩′ et (G_{m}, G′) est une paire réductive duale irréductible dans Sp(E). Dans la suite, nous ne considérerons ce type de paires que pour m′_{1} = 2m′ et nous noterons G′_{m′} pour G′.

Nous utilisons dans la suite les résultats de B. Srinivasan qui a étudié une autre construction, la représentation de Weil définie par Gérardin dans [G], que nous noterons ω^{♭}. Toutefois les résultats de B. Srinivasan sont aussi bien utilisables pour étudier la restriction de ω à G_{m}.G′_{m′}, car :

– dans le cas (3) ci-dessus, ω et ω^{♭} ont même restriction à G_{m}.G′_{m′};

– dans les cas (1) et (2) ci-dessus, si ν_{m} (resp. ν_{m′}) désigne l’unique caractère linéaire d’ordre deux du groupe G_{m} (resp. G′_{m′}), la restriction de ω^{♭} à G_{m}.G′_{m′} est égale à la restriction à G_{m}.G′_{m′} de ω multipliée par le caractère ν_{m}^{m′} ⊗ ν_{m′}^{m} de G_{m}.G′_{m′}.

La restriction de ω^{♭} à G_{m}.G′_{m′} définit, par inflation, une représentation de G_{m}×G′_{m′}, dont nous noterons ω_{m,m′} le caractère.

Nous appellerons correspondance de Howe la correspondance (qui n’est pas une isométrie en général), entre caractères de G_{m} et caractères de G′_{m′}, définie par l’application Θ_{G′_{m′}} de R(G_{m}) dans R(G′_{m′}) donnée par :

(1.4)  ω_{m,m′} = ∑_{χ∈Irr(G_{m})} χ ⊗ Θ_{G′_{m′}} (χ).

D. Caractères de Deligne-Lusztig et séries de Lusztig. Soit G un groupe réductif connexe sur \overline{𝔽}_{q}, défini sur 𝔽_{q}, et soit F l’endomorphisme de Frobenius correspondant. Aux G^{F} -classes de conjugaison de couples (T, θ) où T est un tore maximal rationnel de G, et où θ ∈ Irr(T^{F} , \overline{ℚ}_{ℓ}) (où ℓ est un nombre premier différent de p), Deligne et Lusztig ont associé un caractère virtuel R_{T}^{G}(θ) de G^{F}. Les caractères ainsi obtenus sont orthogonaux (mais non nécessairement disjoints) pour deux couples non conjugués.

Plus généralement, si L est un sous-groupe de Levi rationnel d’un sous-groupe parabolique (non nécessairement rationnel) de G, Lusztig a défini un foncteur R_{L}^{G} : R(L^{F}) → R(G^{F}) qui étend la définition de R_{T}^{G}. Ce foncteur est parfois appelé “induction de Lusztig”, nous noterons ^{∗}R_{L}^{G} son adjoint (“restriction de Lusztig”); ces deux foncteurs sont transitifs (cf. [DM3, (11.5)]) et vérifient une “formule de Mackey” (cf. [DM3, chap. 11]) qui couvre au moins les cas que nous considérons.

Nous noterons Unif(G^{F}) le sous-espace de l’espace C(G^{F}) des fonctions centrales sur G^{F} à valeurs dans \overline{ℚ}_{ℓ} engendré par les caractères R_{T}^{G}(θ). Les éléments de Unif(G^{F}) sont appelés “fonctions uniformes”. “Presque toute” fonction centrale est uniforme, en particulier la fonction caractéristique d’une classe semi-simple; si G = GL_{n}, toute fonction centrale est uniforme. Il n’en est pas de même dans les autres groupes; par exemple, ω_{m,m′} n’est pas uniforme dans le cas symplectique-orthogonal si mm′ ≠ 0.

Soient G un groupe réductif connexe, G^{∗} un groupe dual de G (dont le système de racines est dual du système de racines de G), et F^{∗} une isogénie de G^{∗} duale de F (cf. par exemple [C, 4.3]). Nous considèrerons les couples (G^{F} , G^{∗F^{∗}}) suivants : (G^{F} = GL_{l}(εq), G^{∗F^{∗}} = GL_{l}(εq)), (G^{F} = Sp_{2l}(q), G^{∗F^{∗}} = SO_{2l+1}(q)) et (G^{F} = SO_{2l}^{ε}(q), G^{∗F^{∗}} = SO_{2l}^{ε}(q)); nous serons aussi amenés à considérer le couple formé de groupes non connexes (O_{2l}^{ε}(q), O_{2l}^{ε}(q)) (nous utilisons la notation SO_{2l}^{ε}(q) (resp. O_{2l}^{ε}(q)) pour désigner SO_{2l}^{+}(q) ou SO_{2l}^{−}(q) (resp. O_{2l}^{+}(q) ou O_{2l}^{−}(q)) suivant la valeur de ε ∈ {1, −1}).

Nous avons besoin d’étendre les notions ci-dessus à un groupe réductif non connexe (nous allons en effet les appliquer d’une part à C_{G^{∗}}(s), qui n’est pas nécessairement connexe car nous n’avons pas supposé G à centre connexe et d’autre part à O_{2l}^{ε}). Si G est un groupe réductif non connexe, nous posons R_{T}^{G}(θ) := Ind_{G^{0F}}^{G^{F}} (R_{T}^{G^{0}}(θ)) et nous appelons “fonctions uniformes” les combinaisons linéaires de R_{T}^{G}(θ) (avec cette définition, il y a moins de fonctions uniformes que dans [DM4], où l’induit ci-dessus est décomposé en somme de certains caractères de Deligne-Lusztig généralisés).

D’après [L2, (7.5.1)], si l’on suppose choisis un isomorphisme entre le groupe multiplicatif \overline{𝔽}_{q}^{×} d’une clôture algébrique de 𝔽_{q} et (ℚ/ℤ)_{p′}, et un plongement de (ℚ/ℤ)_{p′} dans \overline{ℚ}_{ℓ}^{×}, l’ensemble des classes de G^{F} -conjugaison de couples (T, θ), où T est un tore maximal rationnel de G, et où θ ∈ Irr(T^{F}), est en bijection avec l’ensemble des classes de G^{∗F^{∗}}-conjugaison de couples (T^{∗}, s), où T^{∗} est un tore maximal rationnel de G^{∗}, et où s ∈ T^{∗F^{∗}}.

Si la classe sous G^{F} de la paire (T, θ) correspond à la classe sous G^{∗F^{∗}} de la paire (T^{∗}, s), nous désignerons aussi par R_{T}^{G}(ŝ) le caractère de Deligne-Lusztig R_{T}^{G}(θ) de G^{F}. Etant donné s ∈ G^{∗F^{∗}} nous noterons (s) sa classe de conjugaison sous G^{∗F^{∗}} et pour s semi-simple nous appellerons “série de Lusztig associée à (s)” l’ensemble :

(1.5)  E(G^{F} , (s)) = ⋃_{T^{∗}∋s}{χ ∈ Irr(G^{F}) | ⟨χ, R_{T}^{G}(ŝ)⟩ ≠ 0},

où T^{∗} parcourt les tores maximaux rationnels de G^{∗} contenant s. D’après [L2, 7.5.2], les séries de Lusztig quand (s) parcourt l’ensemble des classes semi-simples de G^{∗F^{∗}} forment une partition de Irr(G^{F}).

Avec ces notations, pour G connexe, le paramétrage de Lusztig est alors donné par (cf. par exemple [DM3, 13.23]) :

1.6 Théorème (Lusztig). Il existe une bijection E(G^{F} , (s))⟶^{π}E(C_{G^{∗}}(s)^{F^{∗}}, 1) telle que, en étendant par linéarité π aux caractères virtuels, on ait :

π(ε_{G}R_{T}^{G}(ŝ)) = ε_{C_{G^{∗}} (s)}R_{T^{∗}}^{C_{G^{∗}} (s)}(1_{T^{∗}}).

Nous pouvons étendre le paramétrage ci-dessus à certains groupes non connexes :

1.7 Proposition. Le théorème 1.6 est encore valable pour les groupes G = G^{∗} = O_{2l}, G^{F} = G^{∗F^{∗}} = O_{2l}^{ε}(q).

Démonstration. Soit ρ ∈ Irr(SO_{2l}^{ε}(q)); si ^{σ}ρ = ρ, alors Ind_{SO_{2l}^{ε}(q)}^{O_{2l}^{ε}(q)} ρ est somme

de deux représentations irréductibles ρ^{I} et ρ^{II} de O_{2l}^{ε}(q); sinon ρ̃ = Ind_{SO_{2l}^{ε}(q)}^{O_{2l}^{ε}(q)} ρ =

Ind_{SO_{2l}^{ε}(q)}^{O_{2l}^{ε}(q)} ^{σ}ρ est irréductible; toute représentation irréductible de O_{2l}^{ε}(q) est de la forme ρ^{I}, ρ^{II} ou ρ̃.

La classe (s) de s ∈ SO_{2l} est σ-invariante si et seulement si s a une valeur propre égale à 1 ou −1. Si s n’a pas de valeur propre égale à 1 ou −1, alors C_{O_{2l}}(s) = C_{SO_{2l}}(s) et toute représentation de E(O_{2l}^{ε}(q), (s)) est de la forme ρ̃ avec ρ ∈ E(SO_{2l}^{ε}(q), (s)), σρ ∈ E(SO_{2l}^{ε}(q), (^{σ}s)). Si s a une valeur propre 1 ou −1, on peut choisir s ∈ (s) invariant par σ (par exemple le représentant de (s) dans T_{≤}, c.f.§1.B), et la proposition se déduit alors du fait que l’on peut pour G^{F} = SO_{2l}^{ε}(q) choisir l’application π de 1.6 compatible à σ, i.e. telle que ^{σ}(π(ρ)) = π(^{σ}ρ).

On appelle “caractères unipotents” les éléments de E(G^{F} , 1); ils forment donc un “modèle” pour les autres séries de Lusztig. Nous noterons U(G^{F}) le sous-espace de C(G^{F}) formé des fonctions centrales qui sont combinaisons linéaires de caractères unipotents de G^{F}. Soient pr_{unif}^{G^{F}} et pr_{unip}^{G^{F}} les projecteurs orthogonaux de C(G^{F}) respectivement sur Unif(G^{F}) et sur U(G^{F}); si f ∈ C(G^{F}), nous dirons que pr_{unif}^{G^{F}}(f) (resp. pr_{unip}^{G^{F}}(f)) est la “projection uniforme” (resp. “projection unipotente”) de f.

1.8 Remarque : Puisque la fonction caractéristique de l’identité est uniforme, la projection uniforme d’une fonction centrale quelconque ρ a même dimension que ρ; en particulier si ρ est un (vrai) caractère de G^{F} et ⟨ρ, R_{T}^{G}(ŝ)⟩ = 0 pour tout T^{∗} ∋ s, alors la projection de ρ sur E(G^{F} , (s)) est nulle.

Soit R^{G^{F}} la représentation du groupe G^{F} × G^{F} d’espace les fonctions f sur G^{F} à valeurs dans \overline{ℚ}_{ℓ}, définie par

(R^{G^{F}} (g_{1}, g_{2})f)(g) := f(g_{1}gg_{2}^{−1}) pour g_{1}, g_{2}, g ∈ G^{F}

(i.e., la représentation naturelle de G^{F} × (G^{F})^{opp} sur \overline{ℚ}_{ℓ}[G^{F}]); nous notons encore R^{G^{F}} son caractère.

Nous aurons besoin par la suite des deux propositions suivantes :

1.9 Proposition. Si G est connexe, on a

pr_{unif}^{G^{F} ×G^{F}} (R^{G^{F}}) = \frac{1}{| W_{G} |} ∑_{w∈W_{G}} ∑_{θ∈Irr(T_{w}^{F})} R_{T_{w}}^{G}(θ) ⊗ R_{T_{w}}^{G}(θ),

où dans la somme ci-dessus T_{w} est un tore de type w par rapport à un tore rationnel fixé T_{0} de G, et où W_{G} est le groupe de Weyl de W_{G}(T_{0}).

Démonstration. On a (cf. par exemple [DM3, prop. 12.12]))

pr_{unif}^{G^{F}} = \frac{1}{| W_{G} |} ∑_{w∈W_{G}} R_{T_{w}}^{G} ∘ ^{∗}R_{T_{w}}^{G} = ∑_{(T)⊂G} \frac{1}{|W (T)^{F} |}R_{T}^{G} ∘ ^{∗}R_{T}^{G},

où W (T) est le groupe de Weyl de G relatif à T et où la somme du membre de droite ci-dessus porte sur des représentants des G^{F} -classes de tores rationnels. La représentation R^{G^{F}} est caractérisée par le fait que pour deux caractères irréductibles χ_{1}, χ_{2} ∈ Irr(G^{F} , \overline{ℚ}_{ℓ}), et donc par bilinéarité pour deux fonctions centrales f_{1} et f_{2}, on a :

⟨f_{1}, f_{2}⟩ = ⟨R^{G^{F}} , f_{1} ⊗ f_{2}⟩;

donc sa projection uniforme est caractérisée par le fait que pour deux fonctions de classe quelconques on a :

⟨pr_{unif}^{G^{F}}(f_{1}), pr_{unif}^{G^{F}}(f_{2})⟩ = ⟨pr_{unif}^{G^{F}}(R^{G^{F}}), f_{1} ⊗ f_{2}⟩.

Mais d’autre part :

⟨pr_{unif}^{G^{F}}(f_{1}), pr_{unif}^{G^{F}}(f_{2})⟩ = ∑_{(T),(T′)} \frac{1}{|W (T)^{F} ||W (T′)^{F} |}⟨R_{T}^{G} ∘ ^{∗}R_{T}^{G}(f_{1}), R_{T′}^{G} ∘ ^{∗}R_{T′}^{G}(f_{2})⟩

= ∑_{(T)} \frac{1}{|W (T)^{F} |^{2}} ⟨R_{T}^{G} ∘ ^{∗}R_{T}^{G}(f_{1}), R_{T}^{G} ∘ ^{∗}R_{T}^{G}(f_{2})⟩

= ∑_{(T)} \frac{1}{|W (T)^{F} |^{2}} ⟨^{∗}R_{T}^{G}(f_{1}), (^{∗}R_{T}^{G} ∘ R_{T}^{G}) ∘ ^{∗}R_{T}^{G}(f_{2})⟩

= ∑_{(T)} \frac{1}{|W (T)^{F} |}⟨^{∗}R_{T}^{G}(f_{1}),^{∗}R_{T}^{G}(f_{2})⟩

=⟨∑_{(T)} \frac{1}{|W (T)^{F} |} ∑_{θ∈Irr(T^{F})} θ ⊗ θ,^{∗}R_{T}^{G}(f_{1}) ⊗ ^{∗}R_{T}^{G}(f_{2})⟩

=⟨∑_{(T)} \frac{1}{|W (T)^{F} |} ∑_{θ∈Irr(T^{F})} R_{T}^{G}(θ) ⊗ R_{T}^{G}(θ), f_{1} ⊗ f_{2}⟩

la quatrième égalité d’après la formule de Mackey pour les foncteurs de Lusztig, cf. [DM3, th. 11.13], d’où le résultat.

1.10 Proposition. Soient T × L une décomposition en produit direct d’un sousgroupe de Levi d’un sous-groupe parabolique de G, où T est un tore, et soit W_{L} le groupe de Weyl de L; on a

R_{T×L}^{G}(θ ⊗ 1) = \frac{1}{|W_{L}|} ∑_{v∈W_{L}} R_{T×T_{v}}^{G}(θ ⊗ 1),

où T_{v} est un tore maximal rationnel de type v par rapport à un tore maximal rationnel fixé de L et θ un caractère de T^{F}.

Démonstration. Nous déduisons l’égalité 1_{L} = \frac{1}{|W_{L}|} ∑_{v∈W_{L}} R_{T_{v}}^{L}(1) de [DM3,

prop. 12.13]; en tensorisant par θ, nous obtenons θ ⊗ 1 = \frac{1}{|W_{L}|} ∑_{v∈W_{L}} R_{T×T_{v}}^{T×L}(θ ⊗ 1),

et (1.10) résulte alors de la transitivité du foncteur de Lusztig.

E. Représentations unipotentes. Dans la suite, nous fixons un tore T_{0} de G inclus dans un sous-groupe de Borel rationnel, par rapport auquel nous mesurerons les types des autres tores, et nous posons R_{w} := R_{T_{w}}^{G}(1). Nous supposons désormais dans cette partie que G est connexe. Pour toute fonction ϕ sur W_{G}, on considère la fonction R_{ϕ} définie par

(1.11)  R_{ϕ} = R_{ϕ}^{G} := \frac{1}{|W_{G}|} ∑_{w∈W_{G}} ϕ(w)R_{w}.

Avec cette définition, si G est déployé on a

R_{w} = ∑_{ϕ∈Irr(W_{G})} ϕ(w)R_{ϕ}.

Les R_{ϕ} forment une base orthonormée de l’espace Unif(G^{F}) ∩ U(G^{F}).

Pour expliquer le cas d’un groupe non déployé, nous avons besoin d’abord de donner quelques résultats sur les fonctions de F -classe. Si H est un groupe fini muni de l’action d’un groupe <F > cyclique fini, engendré par un élément F, on appelle fonction de F -classe sur H une fonction f constante sur les F -classes, i.e. vérifiant

f(x) = f(hx.^{F} h^{−1}) pour tous x, h ∈ H.

Une telle fonction s’identifie à la restriction à H.F = {hF }_{h∈H} d’une fonction centrale sur H⋊<F >. Nous noterons C_{F} (H) l’ensemble des fonctions de F -classe sur H.

Rappelons quelques propriétés des fonctions de F -classe sur H (c’est un cas particulier très simple de la théorie de Clifford, cf. par exemple [DM1, I.6]).

(1) χ ∈ Irr(H⋊<F >) a une restriction nulle à H.F lorsque Res_{H}^{H⋊<F >} χ n’est pas irréductible.

(2) Si χ_{1}, χ_{2} ∈ Irr(H⋊<F >) ont une restriction irréductible à H, alors

⟨ χ_{1}, χ_{2} ⟩_{H.F} = \{ \begin{matrix}0 & si Res_{H}^{H⋊<F >} χ_{1} ≠ Res_{H}^{H⋊<F >} χ_{2} \\ 1 & si χ_{1} = χ_{2}, \end{matrix}

où ⟨ χ_{1}, χ_{2} ⟩_{H.F} =| H |^{−1} ∑_{h∈H} χ_{1}(hF) \overline{χ_{2}(hF)} est le produit scalaire des fonctions de F -classe restrictions de χ_{1} et χ_{2} à H.F.

(3) Si Res_{H}^{H⋊<F >} χ_{1} = Res_{H}^{H⋊<F >} χ_{2} alors χ_{1} = χ_{2} ⊗ θ où θ ∈ Irr(<F >).

(4) Si K est un sous-groupe de H stable par wF où w ∈ H, nous noterons Res_{K.wF}^{H.F} (resp. Ind_{K.wF}^{H.F}) le foncteur déduit de Res_{K⋊<wF >}^{H⋊<F >} (resp. Ind_{K⋊<wF >}^{H⋊<F >}) par restriction. La réciprocité de Frobenius se restreint :

⟨ Res_{K.wF}^{H.F} χ, ψ ⟩_{K.wF} = ⟨ χ, Ind_{K.wF}^{H.F} ψ ⟩_{H.F} .

Si ϕ est une fonction de F -classe sur W_{G} (ce qui est la même chose que la restriction à W_{G}.F d’une fonction centrale sur W_{G}⋊<F >), on pose

(1.12  R_{ϕ} = R_{ϕ}^{G} := \frac{1}{|W_{G}|} ∑_{w∈W_{G}} ϕ(wF)R_{w}.

On a

R_{w} = ∑_{ϕ̃∈Irr(W_{G})^{F}} \overline{ϕ̃(wF)}Rϕ̃

où l’expression sous la somme signifie que ϕ̃ parcourt un ensemble formé d’une extension à W_{G}⋊<F > de chaque caractère irréductible F -invariant de W_{G}.

Si H est un groupe fini, nous désignons par γ_{h} (ou par γ_{h}^{H} quand nous aurons besoin de préciser le groupe concerné) la fonction centrale sur H qui vaut | C_{H}(h)| (cardinal du centralisateur dans H de h) sur la classe de h et 0 ailleurs. Si ϕ ∈ Irr(W_{G}), on a donc

(1.13)  ϕ = \frac{1}{|W_{G}|} ∑_{w∈W_{G}} ϕ(w) γ_{w}^{W_{G}} ;

et, par conséquent,

(1.14)  R_{w} = R_{γ_{w}}.

Pour les groupes orthogonaux, nous poserons

R_{ϕ}^{O_{2l}^{+}(q)⊕ O_{2l}^{−}(q)} := \frac{1}{|W_{l}|} ∑_{w∈W_{l}} ϕ(w) R_{w},

pour ϕ ∈ Irr(W_{l}), où R_{w} ∈ C(O_{2l}^{+}(q)) si w ∈ W_{l}^{+} et R_{w} ∈ C(O_{2l}^{−}(q)) sinon. Si ϕ est l’extension à W_{l} d’un caractère ψ irréductible, W_{l}–invariant de W_{l}^{+}, on a

R_{ϕ}^{O_{2l}^{+}(q)⊕ O_{2l}^{−}(q)} = \frac{1}{2} Ind_{SO_{2l}^{+}(q)}^{O_{2l}^{+}(q)}(R_{ψ}^{SO_{2l}^{+}(q)}) + \frac{1}{2} Ind_{SO_{2l}^{−}(q)}^{O_{2l}^{−}(q)}(R_{ψ}^{SO_{2l}^{−}(q)});

si ϕ = Ind_{W_{l}^{+}}^{W_{l}}(ψ), où ψ ∈ Irr(W_{l}^{+}) n’est pas W_{l}–invariant, on a

R_{ϕ}^{O_{2l}^{+}(q)⊕ O_{2l}^{−}(q)} = Ind_{SO_{2l}^{+}(q)}^{O_{2l}^{+}(q)}(R_{ψ}^{SO_{2l}^{+}(q)}).

1.15 Proposition. La projection uniforme unipotente du caractère de la représentation R^{O_{2l}^{ε}(q)} est égale à

\frac{1}{|W_{l}|} ∑_{w∈W_{l}^{+}} R_{w} ⊗ R_{w}.

Démonstration. Comme dans le cas des groupes connexes, nous définissons ^{∗}R_{T_{w}}^{O_{2l}^{ε}(q)}

comme l’adjoint de R_{T_{w}}^{O_{2l}^{ε}(q)}. On a ^{∗}R_{T_{w}}^{O_{2l}^{ε}(q)} = ^{∗}R_{T_{w}}^{SO_{2l}^{ε}(q)} ∘Res_{SO_{2l}^{ε}(q)}^{O_{2l}^{ε}(q)}. Montrons d’abord que

pr_{unif}^{O_{2l}^{ε}(q)} ∘ pr_{unip}^{O_{2l}^{ε}(q)} = pr_{unip}^{O_{2l}^{ε}(q)} ∘ \frac{1}{|W_{l}|} ∑_{w∈W_{l}^{ε}} R_{T_{w}}^{O_{2l}^{ε}(q)} ∘ ^{∗}R_{T_{w}}^{O_{2l}^{ε}(q)}.

Pour le voir il suffit de vérifier que l’égalité est vraie sur U(O_{2l}^{ε}(q)) ∩ Unif(O_{2l}^{ε}(q)) : ainsi, il suffit de montrer que pour tout v ∈ W_{l}^{ε}, on a

\frac{1}{|W_{l}|} ∑_{w∈W_{l}^{ε}} R_{T_{w}}^{O_{2l}^{ε}(q)} ∘ ^{∗}R_{T_{w}}^{O_{2l}^{ε}(q)}(R_{v}) = R_{v};

mais,

∗R_{T_{w}}^{O_{2l}^{ε}(q)}(R_{v}) =(^{∗}R_{T_{w}}^{SO_{2l}^{ε}(q)} ∘ Res_{SO_{2l}^{ε}(q)}^{O_{2l}^{ε}(q)} ∘ Ind_{SO_{2l}^{ε}(q)}^{O_{2l}^{ε}(q)})(R_{v}^{SO_{2l}^{ε}(q)})
=^{∗}R_{T_{w}}^{SO_{2l}^{ε}(q)}(R_{v}^{SO_{2l}^{ε}(q)} + R_{^{σ}v}^{SO_{2l}^{ε}(q)}),

donc la somme vaut

\frac{1}{|W_{l}|} ∑_{w∈W_{l}^{ε}} R_{T_{w}}^{O_{2l}^{ε}(q)} ∘ ^{∗}R_{T_{w}}^{SO_{2l}^{ε}(q)}(R_{v}^{SO_{2l}^{ε}(q)}) + \frac{1}{|W_{l}|} ∑_{w∈W_{l}^{ε}} R_{T_{w}}^{O_{2l}^{ε}(q)} ∘ ^{∗}R_{T_{w}}^{SO_{2l}^{ε}(q)}(R_{^{σ}v}^{SO_{2l}^{ε}(q)}),

i.e.,

\frac{1}{2} Ind_{SO_{2l}^{ε}(q)}^{O_{2l}^{ε}(q)} (\frac{1}{|W_{l}^{ε}|} ∑_{w∈W_{l}^{ε}} R_{T_{w}}^{SO_{2l}^{ε}(q)} ∘ ^{∗}R_{T_{w}}^{SO_{2l}^{ε}(q)}(R_{v}^{SO_{2l}^{ε}(q)})

+ \frac{1}{|W_{l}^{ε}|} ∑_{w∈W_{l}^{ε}} R_{T_{w}}^{SO_{2l}^{ε}(q)} ∘ ^{∗}R_{T_{w}}^{SO_{2l}^{ε}(q)}(R_{^{σ}v}^{SO_{2l}^{ε}(q)})),

i.e., encore

\frac{1}{2} Ind_{SO_{2l}^{ε}(q)}^{O_{2l}^{ε}(q)}(R_{v}^{SO_{2l}^{ε}(q)} + R_{^{σ}v}^{SO_{2l}^{ε}(q)}) = R_{v}^{O_{2l}^{ε}(q)},

par le résultat dans SO_{2l}^{ε}(q) (cf preuve de la proposition 1.9). Avec cette formule, on peut conclure comme dans la preuve de la proposition 1.9, en utilisant

⟨ R_{w}^{O_{2l}^{ε}(q)}, R_{w}^{O_{2l}^{ε}(q)} ⟩_{O_{2l}^{ε}(q)} = | C_{W_{l}}(w)|

(car

⟨ R_{w}^{O_{2l}^{ε}(q)}, R_{w}^{O_{2l}^{ε}(q)} ⟩_{O_{2l}^{ε}(q)} = ⟨ R_{w}^{SO_{2l}^{ε}(q)}, R_{w}^{SO_{2l}^{ε}(q)} + R_{^{σ}w}^{SO_{2l}^{ε}(q)} ⟩_{SO_{2l}^{ε}(q)},

qui vaut 2| C_{W_{l}^{ε}}(w)| si la classe de w ne se scinde pas par restriction de W_{l} à W_{l}^{ε} et | C_{W_{l}^{ε}}(w)| sinon).

2. Correspondance de Howe et caractères de Deligne-Lusztig

A. Représentation de Weil et fonctions uniformes. Comme expliqué à la fin du §1.A, nous pouvons identifier les classes de tores rationnels de SO_{2l+1} à l’union des classes de tores rationnels de (O_{2l}, F^{+}) et de celles de (O_{2l}, F^{−}). Étant donné w ∈ W (B_{l}) nous noterons T_{w} un représentant de la classe de tores correspondante dans SO_{2l+1}, et, par abus de notation, aussi un représentant de la classe correspondante dans (O_{2l}, F^{+}) (si w ∈ W (D_{l})) ou dans (O_{2l}, F^{−}) (si w ∈ σW (D_{l})). Nous nous permettrons de plus de noter O_{2l}^{+1} pour (O_{2l}, F^{+}) et O_{2l}^{−1} pour (O_{2l}, F^{−}), si bien qu’avec ces notations T_{w} est un tore de O_{2l}^{φ(w)}, où φ est le caractère de W (B_{l}) décrit en (1.2).

A l’aide de ces notations nous allons exprimer le résultat (4.3) de [Sr] (qui donne la restriction à une paire duale irréductible de la projection uniforme de la représentation de Weil) sous une forme uniforme pour les trois sortes de paires réductives duales. Nous ne reproduisons pas ici la formule de Srinivasan qui, bien que plus complexe, est entièrement contenue dans la notre. Nous nous contentons d’indiquer comment elle se ramène à notre forme. Nous désignons par G_{m} l’un des groupes GL_{m} ou Sp_{2m}.

Lorsque G_{m} = Sp_{2m}, nous noterons ω^{#} = ω_{m,m′}^{#} l’élément de l’espace Unif(Sp_{2m})⊗ (Unif(O_{2l}^{+}(q))⊕Unif(O_{2l}^{−}(q)) défini comme la somme formelle de la projection sur l’espace des fonctions uniformes du caractère ω_{m,m′} associé à Sp_{2m}(q).O_{2m′}^{+}(q) et de la projection uniforme du caractère ω_{m,m′} associé à Sp_{2m}(q).O_{2m′}^{−}(q). Nous poserons G_{m′}^{′ε} := O_{2m′}^{ε}.

Quand G_{m} est un groupe linéaire, nous poserons ω^{#} = ω_{m,m′}, φ = Id et G′_{m′} := GL_{m′}.

Enfin nous poserons ε = −1 quand G_{m}^{F} = GL_{m}(−q) et ε = 1 dans les autres cas (i.e., G_{m}^{F} = GL_{m}(q) ou G_{m}^{F} = Sp_{2m}(q)).

2.1 Proposition. Nous supposons q assez grand pour que, pour tout tore maximal rationnel T de l’un des groupes G_{m} ou G′_{m′}, le quotient T^{F} /Z_{G^{F}} ait au moins deux W (T)^{F} -orbites de caractères réguliers. Alors ω^{#} est égale à :

ε^{mm′} ∑_{l=0}^{min(m,m′)} \frac{ε^{l}}{|W_{G_{l}}|} \frac{1}{|W_{G_{m−l}}|} \frac{1}{|W_{G_{m′−l}}|} ∑_{w∈W_{G_{l}}} φ(w) ∑_{θ∈Irr(T_{w}^{F})}

∑_{v∈W_{G_{m−l}}} ∑_{v′∈W_{G_{m′−l}}} R_{T_{w}×T_{v}}^{G_{m}}(θ ⊗ 1) ⊗ R_{T_{w}×T_{v′}}^{G_{m′}^{′φ(wv′)}}(θ ⊗ 1).

Démonstration. Dans les cas linéaire et unitaire, la formule ci-dessus résulte immédiatement de [Sr, (4.3)].

Considérons maintenant le cas symplectique-orthogonal. D’après [Sr, (4.3)] et le lemme 1.10, la projection uniforme du caractère ω_{m,m′} associé à Sp_{2m}(q).SO_{2m′}^{ε}(q) est, avec les notations du §1.A, si m′ > m :

∑_{l=0}^{m} \frac{1}{|W_{l}|} \frac{1}{|W_{m−l}|} \frac{1}{|W′_{m′−l}|} ∑_{w∈W_{l}} φ(w) ∑_{θ∈Irr(T_{w}^{F})}

∑_{v∈W_{m−l}} ∑_{{v′∈W_{m′−l}|φ(wv′)=ε}} R_{T_{w}×T_{v}}^{Sp_{2m}}(θ ⊗ 1) ⊗ R_{T_{w}×T_{v′}}^{SO_{2m′}^{φ(wv′)}}(θ ⊗ 1).

Avec nos définitions (cf. §1.D) toute fonction uniforme O_{2m}^{ε}(q)-invariante sur SO_{2m}^{ε}(q) est la restriction d’une unique fonction uniforme sur O_{2m}^{ε}(q); par exemple, la fonction R_{T}^{SO_{2m}^{ε}}(θ) + R_{^{σ}T}^{SO_{2m}^{ε}}(^{σ}θ), où σ est l’automorphisme extérieur de SO_{2m}^{ε} et T un tore de SO_{2m}^{ε}, est la restriction à SO_{2m}^{ε} de R_{T}^{O_{2m}^{ε}}(θ). En utilisant ces remarques et le fait que la somme ci-dessus est invariante par Id ⊗ ad σ, on voit que cette somme est la restriction à Sp_{2m}(q).SO_{2m′}^{ε}(q) d’une unique fonction uniforme sur Sp_{2m}(q).O_{2m′}^{ε}(q) qui vaut :

∑_{l=0}^{m} \frac{1}{|W_{l}|} \frac{1}{|W_{m−l}|} \frac{1}{|W_{m′−l}|} ∑_{w∈W_{l}} φ(w) ∑_{θ∈Irr(T_{w}^{F})}

∑_{v∈W_{m−l}} ∑_{{v′∈W_{m′−l}|φ(wv′)=ε}} R_{T_{w}×T_{v}}^{Sp_{2m}}(θ ⊗ 1) ⊗ R_{T_{w}×T_{v′}}^{O_{2m′}^{φ(wv′)}} (θ ⊗ 1).

On en déduit immédiatement la proposition : quand on ne fixe pas le type du groupe orthogonal, il suffit d’oublier la condition φ(wv′) = ε.

Un calcul du même type conduit au résultat si m′ = m ou m′ < m.

Nous allons exprimer la proposition ci-dessus sous une autre forme qui nous servira

parfois. L’application f qui pour w ∈ W′_{l} envoie R_{T_{w}}^{SO_{2l+1}}(θ) sur R_{T_{w}}^{O_{2l}^{+}}(θ) et pour

w ∈ σW′_{l} envoie R_{T_{w}}^{SO_{2l+1}}(θ) sur R_{T_{w}}^{O_{2l}^{−}}(θ) définit une isométrie de Unif(SO_{2l+1}(q)) sur Unif(O_{2l}^{+})⊕Unif(O_{2l}^{−}); à travers cette application, nous pouvons exprimer ω^{#} comme une correspondance entre un groupe et un groupe du même type que son dual. Si G_{m} = Sp_{2m} on a G_{m}^{∗} = SO_{2m+1} (cf.1. D). Si G_{m} est un groupe linéaire, on a G_{m}^{∗} = G_{m}.

2.2 Proposition. Sous les mêmes hypothèses que 2.1, ω^{#} est égale à :

ε^{mm′} ∑_{l=0}^{min(m,m′)} \frac{ε^{l}}{|W_{G_{l}}|} ∑_{w∈W_{G_{l}}} φ(w) ∑_{θ∈Irr(T_{w}^{F})} R_{T_{w}×G_{m−l}}^{G_{m}}(θ ⊗ 1) ⊗ f(R_{T_{w}×G_{m′−l}^{∗}}^{G_{m′}^{∗}}(θ ⊗ 1)).

Démonstration. Il suffit, une fois faite la traduction dans G_{m′}^{∗} à travers l’application f, d’appliquer le lemme 1.10.

B. Correspondance de Howe et séries de Lusztig. Nous allons voir que la proposition 2.1 montre que la correspondance de Howe est compatible avec les séries de Lusztig. Autrement dit, si χ ∈ E(G_{m}, (s)), il existe une classe de conjugaison (s′) sous G_{m′}^{′∗} telle que Θ_{G′_{m′}} (χ) est dans le sous-espace de R(G′_{m′}) engendré par E(G′_{m′}, (s′)). Cette application entre classes de G_{m}^{∗}-conjugaison (s) et classes de G_{m′}^{′∗}-conjugaison (s′) est induite par l’injection naturelle du dual de l’un des groupes G_{m}, G′_{m′} dans le dual de l’autre. Plus précisément, si m < m′ nous notons J_{m,m′} l’injection de G_{m}^{∗} = SO_{2m+1}(q) dans G_{m′}^{′∗} = O_{2m′}^{ε}(q) qui envoie

( \begin{matrix}a & 0 & b \\ 0 & 1 & 0 \\ c & 0 & d \end{matrix} ) sur ( \begin{matrix}a & 0 & b \\ 0 & Id_{2(m′−m)} & 0 \\ c & 0 & d \end{matrix} )

et si m ≥ m′ nous notons J_{m′,m} l’injection de G_{m′}^{′∗} = O_{2m′}^{ε}(q) dans G_{m}^{∗} = SO_{2m+1}(q) qui envoie

( \begin{matrix}a & b \\ c & d \end{matrix} ) sur ( \begin{matrix}a & 0 & b \\ 0 & Id_{2(m−m′)+1} & 0 \\ c & 0 & d \end{matrix} );

et si G_{m} = GL_{m}(εq) et G′_{m′} = GL_{m′}(εq) avec m ≤ m′, nous notons J_{m,m′} l’injection

qui envoie a sur ( \begin{matrix}a & 0 \\ 0 & Id_{m′−m} \end{matrix} ), et symétriquement si m > m′.

La compatibilité entre la correspondance de Howe et les séries de Lusztig, est exprimée par la proposition suivante.

2.3 Proposition. Soient χ (resp. χ′) un caractère irréductible de G_{m} (resp. G′_{m′}) et (s) (resp. (s′)) la classe de conjugaison géométrique associée à χ (resp. χ′). Si χ⊗χ′ intervient dans ω_{m,m′}, alors si m < m′ on a (s′) = J_{m,m′}(s) et sinon (s) = J_{m′,m}(s′).

Démonstration. Supposons que m ≥ m′ et (s) ≠ J_{m′,m}(s′), ou que m < m′ et

(s′) ≠ J_{m,m′}(s); alors par 2.1 on a ⟨ ω_{m,m′}, R_{T}^{G_{m}}(s) ⊗ R_{T′}^{G′_{m′}} (s′) ⟩ = 0. Il résulte alors de la remarque 1.8 que la projection de ω_{m,m′} sur ℂ E(G_{m}, (s)) ⊗ ℂ E(G′_{m′}, (s′)) est nulle.

Notons qu’en particulier les caractères unipotents se correspondent. Il n’en est pas de même pour la correspondance associée à la représentation ω : pour la décrire il faut “multiplier” la correspondance J_{m,m′} ci-dessus par un élément d’ordre 2 de G_{m}^{∗}×G_{m′}^{′∗} (correspondant au caractère ν_{m}^{m′} ⊗ ν_{m′}^{m} décrit au §1.C).

L’application J_{m,m′} peut aussi se voir comme suit, en utilisant les notations de §1.B : un élément s ∈ G_{m}^{∗} est conjugué à un unique élément diag(λ_{1}, …, λ_{m}) ∈ (T_{m})_{≤}; par cette conjugaison, J_{m,m′} s’identifie à l’inclusion naturelle (T_{m})_{≤} ↪ (T_{m′})_{≤} donnée par (λ_{1}, …, λ_{m}) ↦ (λ_{1}, …, λ_{m}, 1, …, 1); nous notons T_{m,0} les éléments de (T_{m})_{≤} qui n’ont pas de valeur propre égale à 1, et, si s ∈ T_{m,0} nous noterons pour abréger s_{m′} = J_{m,m′}(s) ∈ (T_{m′})_{≤}.

Soit s ∈ T_{m} et w ∈ Z(s). En utilisant que (cf. §1.B) (T_{m}^{wF} , s) est conjugué à un couple rationnel (T_{w}^{F}, s′), nous pouvons définir un caractère de Deligne-Lusztig associé à (w, s) que nous noterons R_{T_{m}^{wF}}^{G} (ŝ), et soit E(G^{F} , (s)) la série correspondante.

Avec ces notations la proposition 2.3 peut se reformuler ainsi :

2.4 Proposition. Pour l ≤ min(m, m′) et pour s ∈ T_{l,0}, soit ω_{m,m′,s} la projection de ω_{m,m′} sur ℂ E(G_{m}, (s_{m})) ⊗ ℂ E(G′_{m′}, (s_{m′})). Alors on a :

ω_{m,m′} = ⨁_{l=0}^{min(m,m′)} ⨁_{s∈T_{l,0}} ω_{m,m′,s}.

Nous noterons ω_{m,m′,s}^{#} la projection de ω_{m,m′}^{#}

• sur ℂ E(G_{m}, (s_{m})) ⊗ ℂ E(G′_{m′}, (s_{m′})) dans les cas linéaires et unitaires,

• sur ℂ E(Sp_{2m}(q), (s_{m})) ⊗ (ℂ E(O_{2m′}^{+}(q), (s_{m′})) ⊕ ℂ E(O_{2m′}^{−}(q), (s_{m′}))) dans le cas symplectique-orthogonal. Le but de notre article est de démontrer que ω_{m,m′} est (conjecturalement) déter-

minée par ω_{m,m′}^{#}. Cette question est équivalente à prouver que, pour tout s, le terme ω_{m,m′,s} est déterminé par ω_{m,m′,s}^{#}. Dans la suite, nous notons T = T_{l} lorsqu’il n’y a pas de risque de confusion.

2.5 Proposition. Soit s ∈ T_{l,0}. Le terme ε^{mm′}ω_{m,m′,s}^{#} est alors égal à

∑_{l′=l}^{min(m,m′)} \frac{ε^{l′}}{|W (s_{l′})||W_{G_{m−l′}} ||W_{G_{m′−l′}} |} ∑_{w∈Z(s_{l′})} φ(w)

∑_{v∈W_{G_{m−l′}}} ∑_{v′∈W_{G_{m′−l′}}} R_{T^{wF} ×T^{vF}}^{G_{m}} (ŝ_{l′} ⊗ 1) ⊗ R_{T^{wF} ×T^{v′F}}^{G_{m′}^{′φ(wv′)}} (ŝ_{l′} ⊗ 1),

où Z(s) et W (s) sont définis comme au §1.B.

Démonstration. D’après la proposition (2.1), où, en utilisant les remarques cidessus, nous changeons la somme ∑_{w∈W_{G_{l}}} ∑_{s∈(T_{w}^{∗})^{F^{∗}}} en ∑_{s∈T_{l}} ∑_{w∈Z(s)}, on obtient

que ε^{mm′}ω_{m,m′}^{#} est égal à :

∑_{l=0}^{min(m,m′)} \frac{ε^{l}}{|W_{G_{l}}||W_{G_{m−l}}||W_{G_{m′−l}}|} ∑_{s∈T_{l}} ∑_{w∈Z(s)}

∑_{v∈W_{G_{m−l}}} ∑_{v′∈W_{G_{m′−l}}} φ(w)R_{T^{wF} ×T^{vF}}^{G_{m}} (ŝ ⊗ 1) ⊗ R_{T^{wF} ×T^{v′F}}^{G_{m′}^{′φ(wv′)}} (ŝ ⊗ 1),

Si nous remplaçons s par un conjugué ^{v}s, avec v ∈ W_{G_{l}}, nous F -conjuguons l’ensemble Z(s), et la somme

\frac{ε^{l}}{| W_{G_{l}} |} ∑_{w∈Z(s)} φ(w)R_{T^{wF} ×T^{vF}}^{G_{m}} (ŝ ⊗ 1) ⊗ R_{T^{wF} ×T^{v′F}}^{G_{m′}^{′φ(wv′)}} (ŝ ⊗ 1)

reste invariante. L’élément s ayant |W_{G_{l}}|/|W (s)| tels conjugués, ε^{mm′}ω_{m,m′}^{#} est égal à

∑_{l=0}^{min(m,m′)} \frac{1}{|W_{G_{m−l}}||W_{G_{m′−l}}|} ∑_{s∈(T_{l})_{≤}} \frac{ε^{l}}{| W (s) |}

∑_{w∈Z(s)} ∑_{v∈W_{G_{m−l}}} ∑_{v′∈W_{G_{m′−l}}} φ(w)R_{T^{wF} ×T^{vF}}^{G_{m}} (ŝ ⊗ 1) ⊗ R_{T^{wF} ×T^{v′F}}^{G_{m′}^{′φ(wv′)}} (ŝ ⊗ 1).

Si on appelle l′ la variable muette l et qu’on ne retient que les termes où s_{l′} ∈ (T_{l′})_{≤} est l’image par J_{l,l′} d’un élément fixé s de T_{l,0}, on obtient le résultat.

C. Réduction au cas unipotent. En utilisant le paramétrage de Lusztig (cf. th. 1.6 et prop. 1.7) nous allons montrer que la correspondance définie par ω^{#} entre séries (s_{m}) et (s_{m′}) qui se correspondent comme en 2.4 peut être décrite en termes d’une correspondance entre caractères unipotents, définie soit par ω^{#} soit par la projection uniforme de la représentation R.

Soit s ∈ T_{l,0} et s_{l′} = J_{l,l′}(s). Nous poserons G_{#}(s) := ∏_{λ≠1} G_{λ}(s) dans les cas linéaires et unitaires (resp. G_{#}(s) := ∏_{λ≠±1} G_{λ}(s) dans le cas symplectique– orthogonal), où les G_{λ}(s) sont les groupes réductifs qui interviennent dans la décomposition de C_{G_{l}}(s), cf. §1 B, et W_{#}(s) := ∏_{λ≠1} W_{λ}(s) (resp. W_{#}(s) := ∏_{λ≠±1} W_{λ}(s)), cf. §1 B; on a W (s_{l′}) = W_{#}(s)W_{1}(s_{l′}) (resp. W (s_{l′}) = W_{#}(s)W_{−1}(s)W_{1}(s_{l′})); de plus, 1 et −1 étant stables par F, on a Z(s_{l′}) = Z_{#}(s)W_{1}(s_{l′}) (resp. Z(s_{l′}) = Z_{#}(s)W_{−1}(s)W_{1}(s_{l′})) et tout élément w ∈ Z(s_{l′}) s’écrit w = w_{#}w_{1} (resp. w = w_{#}w_{−1}w_{1}), avec w_{#} ∈ Z_{#}(s) (resp. w_{−1} ∈ W_{−1}(s)) et w_{1} ∈ W_{1}(s).

2.6 Théorème. Pour s ∈ T_{l,0}, le terme ω_{m,m′,s}^{#} est

• dans les cas linéaires et unitaires, l’image par le paramétrage de Lusztig (cf. th. 1.6) E(GL_{m} × GL_{m′}, (s_{m}) × (s_{m′})) ≃ E(C_{GL_{m}}(s_{m}) × C_{GL_{m′}} (s_{m′}), 1) de

pr_{unip}(R^{G_{#}(s)^{F}}) ⊗ ω_{m−l,m′−l,1}^{#}

• dans le cas symplectique-orthogonal, l’image par le paramétrage (cf. prop. 1.7)

ℂE(Sp_{2m} × O_{2m′}^{+}, (s_{m}) × (s_{m′})) ⊕ ℂE(Sp_{2m} × O_{2m′}^{−}, (s_{m}) × (s_{m′})))

≃ ℂE(C_{SO_{2m+1}}(s_{m}) × C_{O_{2m′}^{+}} (s_{m′}), 1) ⊕ ℂE(C_{SO_{2m+1}}(s_{m}) × C_{O_{2m′}^{−}} (s_{m′}), 1)

de

pr_{unip}(R^{G_{#}(s)^{F}}) ⊗ pr_{unif} ∘ pr_{unip}(R^{O_{2ν_{−1}(s))}^{F^{+}}} ⊕ R^{O_{2ν_{−1}(s))}^{F^{−}}}) ⊗ ω_{m−l,m′−l,1}^{#}.

Démonstration. La proposition 2.5 montre que le terme ε^{mm′}ω_{m,m′,s}^{#} est égal à

∑_{l′=l}^{min(m,m′)} \frac{ε^{l′}}{|W (s_{l′})||W_{G_{m−l′}} ||W_{G_{m′−l′}} |} ∑_{w∈Z(s_{l′})} φ(w)

∑_{v∈W_{G_{m−l′}}} ∑_{v′∈W_{G_{m′−l′}}} R_{T^{wF} ×T^{vF}}^{G_{m}} (ŝ_{l′} ⊗ 1) ⊗ R_{T^{wF} ×T^{v′F}}^{G_{m′}^{′φ(wv′)}} (ŝ_{l′} ⊗ 1).

D’après la description des centralisateurs établie au §1 B, on a C_{SO_{2m+1}}(s_{m}) = G_{#}(s) × O_{2ν_{−1}(s)} × SO_{2ν_{1}(s_{m})+1} et C_{O_{2m′}^{φ(wv′)}}(s_{m′}) = G_{#}(s) × O_{2ν_{−1}(s)} × O_{2ν_{1}(s_{m′})}. La

structure rationnelle de ces centralisateurs est donnée comme suit : (G_{#}(s), w_{#}F) ≃ ∏_{λ} G_{λ}(s)^{φ(w_{λ})}, où w_{#} = ∏_{λ} w_{λ} et où G_{λ}(s)^{φ(w_{λ})} est un groupe linéaire ou unitaire suivant le signe de φ(w_{λ}), (O_{2ν_{−1}(s)}, w_{−1}F) ≃ O_{2ν_{−1}(s)}^{φ(w_{−1})}, enfin (O_{2ν_{1}(s_{m′})}, w_{1}v′F) ≃

O_{2ν_{1}(s_{m′})}^{φ(w_{1}v′)}.

Par le lemme 1.3, du côté SO_{2m+1}, on a ε_{G^{∗}}ε_{C_{G^{∗}} (s)} = (−1)^{l(w′_{#})}φ(w_{−1}) où w′_{#} est l’élément Φ_{s}-réduit dans la classe de w_{#}. En effet, l’élément Φ_{s}-réduit w′_{−1} dans la classe de w_{−1} est σ si φ(w_{−1}) = −1 et 1 sinon. Comme l(σ) est impair, on a donc (−1)^{l(w′_{−1})} = φ(w_{−1}). Enfin l’élément Φ_{s}-réduit dans la classe de w_{1}v est 1.

Par ailleurs, du côté de O_{2m′}, on a ε_{G^{∗}}ε_{C_{G^{∗}} (s)} = (−1)^{l(w′_{#})}φ(w_{#}). En effet, tout d’abord si φ(w_{#}w_{−1}w_{1}v′) = −1 alors l’élément dans Z(s) n’est pas w_{#}w_{−1}w_{1}v′ mais w_{#}w_{−1}w_{1}v′σ. D’autre part, cette fois-ci l’élément Φ_{s}-réduit dans la classe de w_{1}v′ n’est plus 1, mais σ si φ(w_{1}v′) = −1. On trouve donc

ε_{G^{∗}}ε_{C_{G^{∗}} (s)} = (−1)^{l(w′_{#})}φ(w_{#}w_{−1}w_{1}v′)φ(w_{−1})φ(w_{1}v′) = (−1)^{l(w′_{#})}φ(w_{#}).

Dans le cas de (GL_{m}, F^{+}), on a ε_{G^{∗}}ε_{C_{G^{∗}} (s)} = (−1)^{l(w′_{#})}. Dans le cas de (GL_{m}, F^{−}), on a ε_{G^{∗}}ε_{C_{G^{∗}} (s)} = (−1)^{l(w′_{#})+l(w_{0,m})+l(w_{0,m−l})}, où w_{0,m} est l’élément de plus grande longueur de W_{GL_{m}} et w_{0,m−l} l’élément de plus grande longueur de W_{GL_{m−l}}, d’après le lemme 1.3.

Dans le cas des groupes linéaires et unitaires, le paramétrage de Lusztig (cf. th. 1.6) introduit donc un signe égal à

ε^{l(w_{0,m})+l(w_{0,m−l})+l(w_{0,m′})+l(w_{0,m′−l})} = ε^{\binom{m}{2}+\binom{m−l}{2}+\binom{m′}{2}+\binom{m′−l}{2}} = ε^{(m+m′)l}.

En utilisant l’application π du paramétrage de Lusztig (cf. th. 1.6 et prop. 1.7), et le calcul des signes ci-dessus, nous en déduisons que,

• dans les cas linéaires et unitaires, π(ω_{m,m′,s}) est égal à

∑_{l′=l}^{min(m,m′)} \frac{ε^{mm′+(m+m′)l+l′}}{|W (s_{l′})||W_{G_{m−l′}} ||W_{G_{m′−l′}} |} ∑_{w_{#}∈Z_{#}(s)} ∑_{w_{1}∈W_{1}(s)}

∑_{v∈W_{G_{m−l′}}} ∑_{v′∈W_{G_{m′−l′}}} R_{w_{#}w_{1}v}^{G_{#}(s)×GL_{ν_{1}(sm)}} ⊗ R_{w_{#}w_{1}v′}^{G_{#}(s)×GL_{ν_{1}(s_{m′})}};

• dans le cas symplectique-orthogonal, π(ω_{m,m′,s}^{#}) est égal à

∑_{l′=l}^{min(m,m′)} \frac{1}{|W (s_{l′})||W_{G_{m−l′}} ||W_{G_{m′−l′}} |} ∑_{w_{#}∈Z_{#}(s)} ∑_{{w_{−1}∈W_{−1}(s) \atop w_{1}∈W_{1}(s)}} φ(w_{1})

∑_{v∈W_{G_{m−l′}}} ∑_{v′∈W_{G_{m′−l′}}} R_{w_{#}w_{−1}w_{1}v}^{G_{#}(s)×O_{2ν_{−1}(s)}^{φ(w_{−1})}×SO_{2ν_{1}(sm)+1}} ⊗ R_{w_{#}w_{−1}w_{1}v′}^{G_{#}(s)×O_{2ν_{−1}(s)}^{φ(w_{−1})}×O_{2ν_{1}(s_{m′})}^{φ(v′w_{1})}}

En regroupant les termes suivant le type des valeurs propres, les formules ci-dessus se réécrivent respectivement

(\frac{1}{|W_{#}(s)|} ∑_{w_{#}∈Z_{#}(s)} R_{w_{#}}^{G_{#}(s)} ⊗ R_{w_{#}}^{G_{#}(s)}) ⊗

(  ∑_{l′′=0}^{min(m−l,m′−l)} \frac{ε^{mm′+(m+m′)l+l+l′′}}{|W_{G_{l′′}} ||W_{G_{(m−l)−l′′}} ||W_{G_{(m′−l)−l′′}} |} ∑_{w_{1}∈W_{1}(s)}

∑_{v∈W_{G_{(m−l)−l′′}}} ∑_{v′∈W_{G_{(m′−l)−l′′}}} R_{w_{1}v}^{GL_{m−l}} ⊗ R_{w_{1}v′}^{GL_{m′−l}})

et

(\frac{1}{|W_{#}(s)|} ∑_{w_{#}∈Z_{#}(s)} R_{w_{#}}^{G_{#}(s)} ⊗ R_{w_{#}}^{G_{#}(s)}) ⊗ (\frac{1}{|W_{−1}(s)|} ∑_{w_{−1}∈W_{−1}(s)} R_{w_{−1}}^{O_{2ν_{−1}(s)}^{φ(w_{−1})}} ⊗ R_{w_{−1}}^{O_{2ν_{−1}(s)}^{φ(w_{−1})}})

⊗ ( ∑_{l′′=0}^{min(m−l,m′−l)} \frac{1}{|W_{G_{l′′}} ||W_{G_{(m−l)−l′′}} ||W_{G_{(m′−l)−l′′}} |} ∑_{w_{1}∈W_{1}(s)} φ(w_{1})

∑_{v∈W_{G_{(m−l)−l′′}}} ∑_{v′∈W_{G_{(m′−l)−l′′}}} R_{w_{1}v}^{SO_{2(m−l)+1}} ⊗ R_{w_{1}v′}^{O_{2(m′−l)}^{φ(v′)φ(w_{1})}}),

puisque ν_{1}(s_{l′}) = l′ − l et où l’on a pris l′′ = l′ − l comme nouvelle variable dans le dernier terme, terme qui est égal (cf. 2.1) à ω_{m−l,m′−l,1}^{#} (puisque W_{1}(s_{l′}) ≃ W (B_{l′′})); le premier terme est égal (cf. 1.9) à pr_{unip}(R^{G_{#}(s)^{F}}), et dans la deuxième formule, le

terme du milieu est égal (cf. 1.15) à pr_{unif} ∘ pr_{unip}(R^{O_{2ν_{−1}(s))}^{F^{+}}} ⊕ R^{O_{2ν_{−1}(s))}^{F^{−}}}), d’où le théorème.

3. Correspondance de Howe et séries de Harish-Chandra

A. Séries de Harish-Chandra.

Définitions 3.1. Soient L un sous-groupe de Levi d’un sous-groupe parabolique F -stable de G et λ une représentation irréductible cuspidale de L^{F}.

• Nous appellerons série de Harish-Chandra associée au couple (L, λ) l’ensemble des représentations irréductibles γ de G^{F} tels que ⟨ γ, R_{L}^{G}λ ⟩_{G^{F}} ≠ 0.

• Nous appellerons donnée cuspidale associée à γ la G^{F} -classe du couple (L, λ).

Notons que la donnée cuspidale associée à γ est uniquement déterminée d’après, par exemple, [DM3, 6.4]. Nous noterons H_{λ} l’algèbre commutante End_{ℂG^{F}} (R_{L}^{G}λ), qui est appelée algèbre de Hecke associée à la donnée cuspidale (L, λ).

Soit (W, S) un système de Coxeter et soit s ↦ q_{s} une fonction de S dans ℂ telle que q_{s} = q_{s′} si s et s′ sont conjugués sous W. On note H(W, (q_{s})) l’algèbre sur ℂ de base T_{w} (w ∈ W) et de multiplication définie par :

T_{w}T_{w′} = T_{ww′}, pour w ∈ W et w′ ∈ W tels que l(ww′) = l(w) + l(w′),
(T_{s} + 1)(T_{s} − q_{s}) = 0, si s ∈ S,

(où l est la fonction longueur sur W relativement à S).

Nous supposons dorénavant que λ est unipotente. Alors, Lusztig a montré que le groupe N_{G^{F}} (L, λ)/L^{F} est un groupe de Weyl et Lusztig, Howlett et Lehrer ont montré que l’algèbre H_{λ} est isomorphe à l’algèbre H(N_{G^{F}} (L, λ)/L^{F} , q_{s}) où le système de Coxeter S et la fonction q_{s} sont définis de la manière suivante (cf. [L3] dont nous reproduisons certains résultats ici pour la commodité du lecteur) :

Soient Γ_{G} et Γ_{L} les diagrammes de Dynkin respectifs de G et de L munis de l’action du Frobenius F; le diagramme Γ_{L} est un sous-diagramme de Γ_{G}. On associe à Γ_{L} un diagramme Γ′_{L} défini de la manière suivante :

• les sommets de Γ′_{L} sont en bijection avec les orbites de F sur l’ensemble des sommets de Γ_{G} qui n’appartiennent pas à Γ_{L} ;

• si γ et γ′ sont deux telles orbites distinctes, on pose :

m(γ, γ′) := \frac{2(|Φ_{Γ_{L}∪γ∪γ′}| − |Φ_{Γ_{L}}|)}{|Φ_{Γ_{L}∪γ}| + |Φ_{Γ_{L}∪γ′}| − 2|Φ_{Γ_{L}}|};

où, quand X ⊂ Γ_{G}, Φ_{X} désigne l’ensemble des racines du sous-groupe de Levi de G associé à X. Lusztig a montré que m(γ, γ′) est l’un des entiers 2, 3, 4, 6; les sommets du diagramme Γ′_{L} sont joints par 0, 1, 2 ou 3 traits suivant que m(γ, γ′) est égal à 2, 3, 4 ou 6. Alors Γ′_{L} est le graphe de Coxeter de N_{G^{F}} (L, λ)/L^{F}. Soit γ une orbite de F sur le

complémentaire de Γ_{L} dans Γ_{G} et soit P_{γ} le sous-groupe parabolique de G associé à

Γ_{L} ∪γ; le caractère induit Ind_{P^{F}}^{P_{γ}^{F}} (λ) se décompose en deux P_{γ}^{F} -caractères irréductibles de degrés notés d_{γ} ≥ d′_{γ}. La fonction γ ↦ q_{γ} est alors définie par q_{γ} := d_{γ}/d′_{γ}.

Les groupes suivants :

• Sp_{2k(k+1)}(q),

• SO_{2k^{2}}^{ε}(q) où ε est le signe de (−1)^{k};

• SO_{2k(k+1)+1}(q), sont les seuls groupes dans leur familles de Lie respectives qui possèdent un caractère unipotent cuspidal; ces groupes ont un unique caractère unipotent cuspidal (cf. [L3]), nous le notons λ_{k}.

Nous considérons maintenant un sous-groupe de Levi rationnel, inclus dans un sous-groupe parabolique rationnel, d’un des groupes ci-dessus et qui possède une représentation unipotente cuspidale. Un tel Levi est de la forme L × T où T est un tore déployé, et L est un groupe du même type que G qui possède une représentation unipotente cuspidale λ_{k}. Décrivons cas par cas l’algèbre H_{λ_{k}⊗1} :

• Si G est de type ^{2}A_{2n+ \frac{(k^{2}+k)}{2} −1} avec k ≥ 0, alors L et H_{λ_{k}⊗1} sont respectivement

de types ^{2}A_{\frac{(k^{2}+k)}{2} −1} et B_{n} (en convenant que ^{2}A_{−1} est le diagramme vide).

• Si G est de type B_{n+(k^{2}+k)} (resp. C_{n+(k^{2}+k)}) avec k ≥ 1, alors L et H_{λ_{k}⊗1} sont respectivement de types B_{k^{2}+k} (resp. C_{k^{2}+k}) et B_{n}.

• Si G est de type D_{n+k^{2}} avec k ≥ 2 pair, alors L et H_{λ_{k}⊗1} sont respectivement de types D_{k^{2}} et B_{n}. Si k = 0, alors H_{λ_{k}⊗1} est de type D_{n}.

• Si G est de type ^{2}D_{n+k^{2}} avec k ≥ 1 impair, alors L et H_{λ_{k}⊗1} sont respectivement de types ^{2}D_{k^{2}} (en convenant que ^{2}D_{1} est le diagramme vide) et B_{n}.

Nous dirons qu’un caractère irréductible du groupe O_{m}^{ε}(q) est unipotent s’il intervient dans le caractère induit du groupe SO_{m}^{ε}(q) au groupe O_{m}^{ε}(q) d’un caractère unipotent de SO_{m}^{ε}(q). L’unicité du caractère unipotent cuspidal λ_{k} de SO_{2k^{2}}^{ε}(q) (resp. SO_{2k(k+1)+1}(q)) implique que le caractère Ind_{SO_{2k^{2}}^{ε} (q)}^{O_{2k^{2}}^{ε} (q)}(λ_{k}) (resp. Ind_{SO_{2k(k+1)+1}(q)}^{O_{2k(k+1)+1}(q)}(λ_{k}))

est somme de deux caractères irréductibles unipotents cuspidaux, λ_{k}^{I} et λ_{k}^{II}, de O_{2k^{2}}^{ε}(q) (resp. O_{2k(k+1)+1}(q)). Ces deux caractères diffèrent par la multiplication par le caractère linéaire non trivial de O_{2k^{2}}^{ε}(q) (resp. O_{2k(k+1)+1}(q)).

Nous complétons ces résultats par le lemme suivant :

3.2 Lemme. Si L = O_{2k^{2}}^{ε} × T est un sous-groupe de Levi du groupe G = O_{m}^{ε} et λ est un caractère unipotent cuspidal de O_{2k^{2}}^{ε}(q), l’algèbre H_{λ⊗1} := End_{ℂG^{F}} (R_{L}^{O_{m}^{ε}}(λ ⊗ 1)) est une algèbre de Hecke de type B_{m−k^{2}}.

Démonstration. Si k = 0, il est bien connu que H_{1} est isomorphe à l’algèbre du groupe de Weyl de O_{m}^{ε}, qui est W (B_{m}), d’où le résultat.

Supposons donc k ≠ 0. Les paires (L, λ_{k}^{I}) et (L, λ_{k}^{II}) sont non conjuguées dans G^{F} = O_{m}^{ε}(q) car un élément qui les conjuguerait induirait un élément de N_{G^{F}} (L) qui échangerait les caractères λ_{k}^{I} sur λ_{k}^{II}; un tel élément stabilise N_{G^{F}} (L^{∘}), donc induirait un automorphisme de L/L^{∘} ≃ ℤ/2ℤ qui échangerait le caractère trivial et le caractère non trivial, ce qui est impossible. Donc, d’après la formule de Mackey (cf. [DM4, th. 4.5 p. 44]), on a ⟨ R_{L}^{G}(λ_{k}^{I}), R_{L}^{G}(λ_{k}^{II}) ⟩ = 0.

Soit χ un caractère irréductible de G^{∘F} qui intervient dans R_{L^{∘}}^{G^{∘}}(λ_{k}). Il résulte alors de, par exemple, [L4, p. 89], que χ est stable sous l’action de G^{F} (χ est paramétré par un symbole de défaut 4k ou 4k +2, et seuls les caractères paramétrés par des symboles de défaut 0 dont les deux parties sont égales ne sont pas stables); donc Ind_{G^{∘F}}^{G^{F}} (χ) est somme de deux caractères irréductibles χ_{1} et χ_{2}, qui diffèrent par la multiplication par le caractère non trivial de G^{F} /G^{∘F}. Comme G^{F} /G^{∘F} ≃ L^{F} /L^{∘F}, ⟨ χ_{i}, R_{L}^{G}(λ_{k}^{I}) ⟩ ≠ 0 si et seulement si ⟨ χ_{j}, R_{L}^{G}(λ_{k}^{II}) ⟩ ≠ 0 pour {i, j} = {1, 2}.

Comme R_{L}^{G}(λ_{k}^{I}) et R_{L}^{G}(λ_{k}^{II}) sont disjointes, on en déduit que End_{ℂG^{F}} (R_{L}^{G}(λ^{I})) ≃ End_{ℂG^{F}} (R_{L}^{G}(λ^{II})) ≃ End_{ℂG^{∘F}} (R_{L^{∘}}^{G^{∘}}(λ)), ce qu’il fallait démontrer.

B. L’algèbre de Hopf R𝔖. Nous suivons la présentation de [Z]. Il est commode de considérer que les groupes symétriques 𝔖_{n} sont inclus les uns dans les autres : une permutation de l’ensemble {1, …, n} est prolongée en une bijection de ℕ^{∗} sur lui-même, fixant tout k > n.

Soit R(𝔖_{n}) le groupe des caractères complexes de 𝔖_{n}. Considérons le groupe gradué R𝔖 = ⨁_{n≥0} R(𝔖_{n}) (où 𝔖_{0} = {1}, et donc R(𝔖_{0}) = ℤ); c’est un ℤ-module libre de base ⋃_{n≥0} Irr(𝔖_{n}). Nous le munissons de la forme bilinéaire ⟨, ⟩ à valeur dans ℤ, telle que deux éléments de graduation différente soient orthogonaux et valant le produit scalaire usuel pour deux caractères d’un même groupe 𝔖_{n}. On munit R𝔖 d’une multiplication m : R𝔖 ⊗ R𝔖 → R𝔖 définie par : si l + l̃ = n, ψ ∈ Irr(𝔖_{l}) et ψ̃ ∈ Irr(𝔖l̃), on a m(ψ⊗ψ̃) = Ind_{𝔖_{l}×𝔖l̃}^{𝔖_{n}}(ψ⊗ψ̃) (où 𝔖_{l}×𝔖l̃ s’envoie naturellement dans 𝔖_{n} en tant que stabilisateur du sous-ensemble {1, …, l} de {1, …, n}). L’adjoint de m pour la forme bilinéaire ⟨, ⟩ est une comultiplication m^{∗} : R𝔖 → R𝔖⊗R𝔖, qui d’après la réciprocité de Frobenius vérifie pour ν ∈ R(𝔖_{n}) : m^{∗}(ν) = ∑_{l+l̃=n} Res_{𝔖_{l}×𝔖l̃}^{𝔖_{n}} ν. Ainsi, m et m^{∗} font de R𝔖 une algèbre de Hopf sur ℤ (l’axiome de Hopf exprimant la formule de Mackey pour la restriction d’un induit).

Nous noterons simplement xz pour m(x⊗z), et x^{∗}: R𝔖 ⟶ R𝔖 l’opérateur adjoint de la multiplication par x ∈ R𝔖; autrement dit x^{∗} est défini par :

(3.3)  ⟨x^{∗}(y), z⟩ = ⟨y, xz⟩, pour tout y ∈ R𝔖 et tout z ∈ R𝔖.

C. L’algèbre de Hopf RB. Nous reprenons les notations de §1.A. Nous considérons les groupes W_{l} = W (B_{l}) = W (C_{l}) comme inclus les uns dans les autres en incluant les uns dans les autres les ensembles de lettres 1, …, l, l′, …, 1′ sur lesquels ils opèrent. Pour l + l̃ = n, le groupe W_{l} × Wl̃ s’envoie naturellement dans W_{n} comme stabilisateur du sous-ensemble {1, …, l, l′, …, 1′} de {1, …, n, n′, …, 1′}. Ceci permet de munir, comme nous l’avons fait au §3.B pour R𝔖, d’une structure d’algèbre de Hopf le module gradué RB = ⨁_{l≥0} R(W_{l}). Il est bien connu qu’il existe une bijection : ⋃_{l+l̃=n} Irr(𝔖_{l} × 𝔖l̃) ≃ Irr(W_{n}) définie comme suit :

(3.4) on considère ψ ∈ Irr(𝔖_{l}) comme caractère de W_{l} via l’homomorphisme naturel W_{l} → 𝔖_{l} (cf. §1.A), et à ψ ⊗ ψ̃ ∈ Irr(𝔖_{l} × 𝔖l̃) considéré comme caractère de W_{l} × Wl̃ on associe le caractère Ind_{W_{l}×Wl̃}^{W_{n}} ψ ⊗ (ψ̃φ) (où φ est défini au §1.A), qui se trouve appartenir à Irr(W_{n}).

Donc RB en tant que ℤ-module est isomorphe à R𝔖⊗R𝔖, et par construction cet isomorphisme est compatible au produit scalaire ⟨, ⟩. Nous noterons a ⊠ b l’élément de RB correspondant à a ⊗ b ∈ R𝔖 ⊗ R𝔖.

3.5 Proposition. Soit ψ ⊠ ϕ ∈ R(W_{l}), alors :

Ind_{W_{l}×W_{m}}^{W_{m+l}}(ψ ⊠ ϕ) ⊗ 1 = (ψx_{m}) ⊠ ϕ et φ · (ψ ⊠ ϕ) = ϕ ⊠ ψ.

où x_{m} désigne le caractère trivial de 𝔖_{m}.

Démonstration. Ind_{W_{l}×W_{m}}^{W_{l+m}}(ψ ⊠ ϕ) ⊗ 1 est le produit de ψ ⊠ ϕ par l’identité (qui vaut x_{m} ⊠ 1) dans l’algèbre RB. Or il résulte de [Z, 7.3] qu’en fait a ⊗ b ↦ a ⊠ b est un homomorphisme d’algèbres de Hopf; en particulier il commute au produit donc on a bien : (ψ ⊠ ϕ) · (x_{m} ⊠ 1) = (ψx_{m}) ⊠ ϕ, d’où la première égalité. D’autre part, si ψ ∈ Irr(𝔖_{r}) et ϕ ∈ Irr(𝔖r̃), alors

φ · (ψ ⊠ ϕ) = Ind_{W_{r}×Wr̃}^{W_{l}}(Res_{W_{r}×Wr̃}^{W_{l}} φ) · (ψ ⊗ (ϕφ)) = Ind_{W_{r}×Wr̃}^{W_{l}}(φ ⊗ φ) · (ψ ⊗ (ϕφ)) =

Ind_{W_{r}×Wr̃}^{W_{l}}(ψφ) ⊗ ϕ = Ind_{Wr̃×W_{r}}^{W_{l}} ϕ ⊗ (ψφ) = ϕ ⊠ ψ,

l’avant-dernière égalité car les sous-groupes W_{r} × Wr̃ et Wr̃ × W_{r} de W_{l} sont conjugués.

D. Résultats et conjecture. Soit (G_{m}, G′_{m′}) une paire réductive duale irréductible de type I dans Sp_{2n}(q) (i.e., l’un des cas (2) ou (3) de 1.C). Dans ce paragraphe, nous regroupons les groupes G et G′ en “tours de Witt” i.e., nous considérons des couples (G_{m}, V_{m}) où V_{m} est l’espace vectoriel muni d’une forme (hermitienne, alternée ou symétrique) sous-jacent à la représentation naturelle de G_{m}, et nous regroupons les V_{m} en suites croissantes d’espaces munis de formes compatibles et de même type de Witt.

• dans le cas des groupes unitaires il y a deux tours de Witt, celle dont les groupes sont U_{2l}(q) pour l ∈ ℕ et celle de groupes U_{2l+1}(q) pour l ∈ ℕ; nous noterons U^{+} la première tour et U^{−} la seconde.

• dans le cas symplectique, il y a une unique tour de Witt, de groupes Sp_{2l}(q) pour l ∈ ℕ, que nous noterons Sp;

• dans le cas orthogonal, il y a quatre tours de Witt, dont les groupes sont respectivement O_{2l}^{+}(q), O_{2l}^{−}(q), O_{2l+1}^{+}(q), et O_{2l+1}^{−}(q), pour l parcourant ℕ. Nous noterons O^{+} la tour des O_{2l}(q) et O^{−} celle des O_{2l}^{−}(q) (nous ne considérons les deux autres tours que dans ce paragraphe).

Notation 3.6. Soient G_{l} ⊂ G_{m} deux groupes de la même tour de Witt T, et soit λ un caractère cuspidal de G_{l}. Nous noterons R(G_{m})_{λ} le sous-groupe de R(G_{m}) engendré par les

{ γ ∈ Irr(G_{m}) | ⟨ γ, R_{G_{l}×T_{m−l}}^{G_{m}}(λ ⊗ 1) ⟩ ≠ 0}.

Le résultat suivant exprime la compatibilité de la correspondance de Howe entre caractères irréductibles unipotents de G_{m} et caractères irréductibles unipotents de G′_{m′} avec leur répartition en séries de Harish-Chandra; il est complètement analogue au résultat obtenu par Kudla pour les groupes p-adiques ([K, th. 2.5]). Nous retrouverons ce résultat combinatoirement au §5 pour les caractères unipotents des groupes unitaires.

Théorème 3.7. Soient T, T′ deux tours de Witt, telles que les couples (G_{m}, G′_{m′}) où G_{m} ∈ T et G′_{m′} ∈ T′ forment des paires duales de type I. Soit λ un caractère irréductible cuspidal d’un G_{l} ∈ T. Alors il existe G′_{l′} ∈ T′ tel que λ′ = Θ_{G′_{l′}} (λ) (cf. 1.4) soit un caractère irréductible cuspidal de G′_{l′}, et si γ ∈ R(G_{m})_{λ} on a Θ_{G′_{m′}} (γ) = 0 si m′ < l′ et Θ_{G′_{m′}} (γ) ∈ R(G′_{m′})_{λ′} sinon.

Démonstration. Pour la durée de la démonstration, nous allons changer nos conventions pour les groupes unitaires : si nous considérons la tour U^{+}, nous poserons G_{m} = U_{2m}(q) (au lieu de G_{2m} = U_{2m}(q)), et de même pour la tour U^{−}, nous poserons G_{m} = U_{2m+1}(q).

Nous posons

(3.8)  m′(γ) = min {m′ | Θ_{G′_{m′}} (γ) ≠ 0}.

Par un résultat de [MVW, Chap. 3, lemme IV.2], il existe m′ tel que Θ_{G′_{m′}} (γ) ≠ 0, donc m′(γ) est bien défini. Nous parlons alors de première occurrence de γ (relativement à la tour T′).

Certaines parties de l’énoncé sont déjà connues : d’après [MVW, chap. 3, IV, 4. théorème principal, 1.(b)], si λ est un caractère irréductible cuspidal de G_{l}, alors :

(1) (cas de première occurrence) l’élément Θ_{G′_{m′(λ)}}(λ) est un caractère irréductible cuspidal que nous noterons λ′.

(2) Si m′ > m′(λ), aucun caractère cuspidal n’intervient dans Θ_{G′_{m′}} (λ).

Il reste donc à voir que Θ_{G′_{m′}} (γ) ∈ R(G′_{m′})_{λ′} pour m′ > m′(λ).

• Supposons m = l (i.e., γ = λ cuspidal) et m′ > m′(γ). Soit γ′ ∈ Θ_{G′_{m′}} (λ); d’après le rappel précédent, γ′ n’est pas cuspidal. L’entier j maximal tel que γ′ | R_{G′_{m′−j}×GL_{j}}^{G′_{m′}}(λ_{1} ⊗ ρ′) avec λ_{1} ∈ Irr(G′_{m′−j}) cuspidal et ρ′ ∈ Irr(GL_{j}) est donc

≥ 1. Puisque γ′ | Θ_{G′_{m′}} (γ), on a donc :

0 < ⟨ ω_{m,m′}, γ ⊗ γ′ ⟩_{G_{m}×G′_{m′}} ≤ ⟨ ω_{m,m′}, γ ⊗ R_{G′_{m′−j}×GL_{j}}^{G′_{m′}}(λ_{1} ⊗ ρ′) ⟩_{G_{m}×G′_{m′}}

= ⟨ 1 ⊗ ^{∗}R_{G′_{m′−j}×GL_{j}}^{G′_{m′}}(ω_{m,m′}), γ ⊗ λ_{1} ⊗ ρ′ ⟩_{G_{m}×G′_{m′−j}×GL_{j}(q)}.

On a la décomposition suivante (cf. [MVW, Chap. 3, IV, th. 5]) :

(1 ⊗ ^{∗}R_{G′_{m′−j}×GL_{j}}^{G′_{m′}})(ω_{m,m′})

= ⨁_{i=0}^{min(m,j)} R_{G_{m−i}×GL_{i}×(GL_{j−i}×GL_{i})×G′_{m′−j}}^{G_{m}×GL_{j}×G′_{m′−j}}(ω_{m−i,m′−j} ⊗ 1_{GL_{j−i}(q)} ⊗ R^{GL_{i}(q)}) .

Le terme ⟨ ω_{m,m′}, γ ⊗ γ′ ⟩_{G_{m}×G′_{m′}} est donc majoré par

∑_{i=0}^{min(m,j)}⟨ω_{m−i,m′−j}⊗1_{GL_{j−i}(q)}⊗R^{GL_{i}(q)},^{∗}R_{G_{m−i}×GL_{i}×(GL_{j−i}×GL_{i})×G′_{m′−j}}^{G_{m}×GL_{j}×G′_{m′−j}}(γ⊗λ_{1}⊗ρ′)⟩

(le produit scalaire étant relatif à G_{m−i} × GL_{i}(q) × (GL_{j−i}(q) × GL_{i}(q)) × G′_{m′−j}). Mais γ étant cuspidal, seul le terme correspondant à i = 0 a une contribution non nulle. On a donc :

⟨ ω_{m,m′−j} ⊗ 1_{GL_{j}(q)}, γ ⊗ λ_{1} ⊗ ρ′ ⟩_{G_{m}×GL_{j}(q)×G′_{m′−j}} > 0 ;

par conséquent ρ′ = 1 et λ_{1} | Θ_{G′_{m′−j}}(γ). Mais, comme λ_{1} est cuspidal, m′ −j = m′(γ) et λ_{1} = λ′, i.e., γ′ ∈ R(G′_{m′})_{λ′}.

• Supposons maintenant m ≥ l + 1. Puisque γ | R_{T_{m−l}×G_{l}}^{G_{m}}(1 ⊗ λ), il existe γ_{1} ∈

Irr(G_{m−1}) tel que γ_{1} | R_{T_{m−l−1}×G_{l}}^{G_{m−1}}(1 ⊗ λ) et γ | R_{GL_{1}×G_{m−1}}^{G_{m}}(1 ⊗ γ_{1}). Comme γ′ | Θ_{G′_{m′}} (γ), on a :

0 < ⟨ ω_{m,m′}, γ ⊗ γ′ ⟩_{G_{m}×G′_{m′}} ≤ ⟨ ω_{m,m′}, (R_{GL_{1}×G_{m−1}}^{G_{m}}(1 ⊗ γ_{1})) ⊗ γ′ ⟩_{G_{m}×G′_{m′}}

= ⟨ (^{∗}R_{GL_{1}×G_{m−1}}^{G_{m}} ⊗ 1)(ω_{m,m′}), 1 ⊗ γ_{1} ⊗ γ′ ⟩_{GL_{1}(q)×G_{m−1}×G′_{m′}} .

On a la décomposition suivante (cf. [MVW, Chap. 3, IV, th. 5]) :

(^{∗}R_{GL_{1}×G_{m−1}}^{G_{m}} ⊗ 1)(ω_{m,m′})

= 1 ⊗ ω_{m−1,m′} + R_{(GL_{1}×G_{m−1})×GL_{1}×G′_{m′−1}}^{(GL_{1}×G_{m−1})×G′_{m′}}(R^{GL_{1}(q)} ⊗ω_{m−1,m′−1}) .

On en déduit que ⟨ ω_{m,m′}, γ ⊗ γ′ ⟩_{G_{m}×G′_{m′}} est majoré par :

⟨ 1 ⊗ ω_{m−1,m′}, 1 ⊗ γ_{1} ⊗ γ′ ⟩_{GL_{1}(q)×G_{m−1}×G′_{m′}} +

⟨ R^{GL_{1}(q)} ⊗ω_{m−1,m′−1}, 1 ⊗ γ_{1} ⊗ ^{∗}R_{GL_{1}×G′_{m′−1}}^{G′_{m′}}γ′ ⟩_{GL_{1}(q)×G_{m−1}×GL_{1}(q)×G′_{m′−1}}.

Le premier terme ci-dessus est non nul si et seulement si γ′ | Θ_{G′_{m′}} (γ_{1}). Le second terme est non nul si et seulement s’il existe γ′_{1} ∈ Irr(G′_{m′−1}) et ρ′_{1} ∈ Irr(GL_{1}(q))

tels que (ρ′_{1} ⊗ γ′_{1}) |^{∗}R_{GL_{1}×G′_{m′−1}}^{G′_{m′}}γ′ et :

⟨ R_{1} ⊗ω_{m−1,m′−1}, 1 ⊗ γ_{1} ⊗ ρ′_{1} ⊗ γ′_{1} ⟩_{GL_{1}(q)×G_{m−1}×GL_{1}(q)×G′_{m′−1}} ≠ 0 ;

il s’ensuit ρ′_{1} = 1 et γ′_{1} | Θ_{G′_{m′−1}}(γ_{1}). Nous raisonnons alors par récurrence sur m. Pour m = l, le résultat a été établi au début de la preuve. Sinon, par hypothèse le théorème a lieu pour γ_{1} donc γ′_{1} ∈ E(G′_{m′−1}, 1)_{λ′} d’où γ′ ∈ R(G′_{m′})_{λ′}, ce qu’il fallait démontrer. Adams et Moy ont décrit (cf. [AM, th. 5.2]) les paires (λ, λ′) de caractères unipo-

tents cuspidaux qui se correspondent (par la première occurrence, comme décrit dans l’énoncé de 3.7) dans les cas que nous considérons :

• Pour les tours (Sp, O^{ε}), λ_{k} correspond à λ_{k}^{II} si ε est le signe de (−1)^{k} et à λ_{k+1}^{I} sinon.

• Pour les tours (U^{ε}, U^{ε′}), λ_{k} correspond à celui des λ_{k′}, où k′ = k ± 1, tel que (−1)^{\frac{k′(k′+1)}{2}} = ε′, et de plus pour les tours (U^{+}, U^{+}), λ_{0} correspond à λ_{0} (i.e., les séries principales se correspondent). Nous redémontrerons ce résultat indépendamment au §5. D’après §3.A, pour toutes les tours ci-dessus, et pour tout caractère unipotent

cuspidal d’un G_{l}, la partie

(RG)_{λ} := ⨁_{m} R(G_{m})_{λ}

de RG = ⨁_{m} R(G_{m}) (où (RG)_{λ} désigne la “série de Harish-Chandra” d’un caractère unipotent cuspidal λ) est isomorphe à RB.

Il résulte immédiatement de 3.7 que si nous fixons deux tours de Witt T et T′, l’élément ∑_{m,m′} ω_{m,m′} de RG ⊗ RG′ est somme de termes ω^{λ,λ′} ∈ (RG)_{λ} ⊗ (RG′)_{λ′} où (λ, λ′) parcourt les couples de caractères cuspidaux qui se correspondent. Nous noterons Ω_{λ,λ′} l’élément de RB ⊗ RB obtenu à partir de ω^{λ,λ′} par l’isomorphisme de (RG)_{λ} ⊗ (RG′)_{λ′} avec RB ⊗ RB, et nous noterons Θ_{λ,λ′} l’application de RB dans RB correspondante.

3.9 Définition. Nous posons X := ∑_{h≥0} x_{h} ∈ R𝔖 (où x_{n} est le caractère trivial de 𝔖_{n}) et nous notons X^{∗} l’application R𝔖 → R𝔖 donné par ∑_{h≥0} x_{h}^{∗}.

Théorème 3.10. Pour RG = ⨁_{m} U_{m}(q), pour tout couple (λ_{k}, λ_{k′}) de caractères cuspidaux unipotents qui se correspondent (i.e., k′ = k ± 1 ou k = k′ = 0), Θ_{λ_{k},λ_{k′}} est l’application de RB dans RB définie par ϕ ⊠ ψ ↦ Xψ ⊠ X^{∗}(ϕ) si k est impair ou k = k′ = 0 et ϕ ⊠ ψ ↦ X^{∗}(ψ) ⊠ Xϕ sinon.

Ce théorème sera démontré au paragraphe 5.

Conjecture 3.11. Pour RG = ⨁_{m} Sp_{2m}(q) et RG′ = ⨁_{m′} O_{2m′}^{ε}(q), l’application Θ_{λ_{k},λ_{k}^{II}} (ici ε est le signe de (−1)^{k}) est l’application de RB dans RB définie par ϕ ⊠ ψ ↦ X^{∗}(ϕ) ⊠ Xψ, et Θ_{λ_{k},λ_{k+1}^{I}} (ici ε est le signe de (−1)^{k+1}) est l’application de RB dans RB définie par ϕ ⊠ ψ ↦ Xϕ ⊠ X^{∗}(ψ).

La description de la correspondance de Howe pour les paires linéaires sera donnée en 5.5.

4. Une décomposition en termes de caractères fantômes

Une base de l’espace des fonctions uniformes unipotentes sur un groupe réductif connexe G défini sur 𝔽_{q} est formée des caractères fantômes R_{ψ}, indexés par les caractères irréductibles du groupe de Weyl; nous déduisons de la proposition 2.1 une description en termes de caractères fantômes de la partie unipotente uniforme de la restriction de ω^{♭} à G_{m}.G_{m′}^{∗} (cf. proposition 4.1). Dans les cas linéaires et unitaires, toute fonction centrale étant uniforme, les caractères fantômes sont (au signe près) les caractères irréductibles unipotents de G^{F}, et nous obtenons ainsi une description complète de la partie unipotente de la restriction à GL_{m}(εq).GL_{m′}(εq) de ω^{♭}.

4.1 Proposition. Avec les notations de 1.E et sous les hypothèses de la proposition (2.1), la partie unipotente ω_{m,m′,1}^{#} de ω_{m,m′}^{#} est,

• dans les cas linéaires et unitaires :

ε^{mm′} ∑_{l=0}^{min(m,m′)} ε^{l} ∑_{ψ∈Irr(𝔖_{l})} R_{Ind_{𝔖_{l}×𝔖_{m−l}}^{𝔖m} (ψ⊗1)}^{GL_{m}(εq)} ⊗ R_{Ind_{𝔖_{l}×𝔖_{m′−l}}^{𝔖_{m′}} (ψ⊗1)}^{GL_{m′} (εq)};

• dans le cas symplectique–orthogonal :

∑_{l=0}^{min(m,m′)} ∑_{ψ∈Irr(W_{l})} R_{Ind_{W_{l}×W_{m−l}}^{Wm} (ψ⊗1)}^{Sp_{2m}(q)} ⊗ R_{Ind_{W_{l}×W_{m′−l}}^{W_{m′}} (φψ⊗1)}^{O_{2m′}^{+} (q) ⊕ O_{2m′}^{−} (q)},

où W_{l} = W (B_{l}).

Démonstration. Soit l ∈ {0, 1, …, min(m, m′)}. Le terme correspondant à l dans la proposition ci-dessus est

(4.2)  ε^{mm′+l} ∑_{ψ∈Irr(W_{G_{l}})} R_{Ind_{W_{G_{l}} ×W_{G_{m−l}}}^{W_{Gm}} (ψ⊗1)} ⊗ R_{Ind_{W_{G_{l}} ×W_{G_{m′−l}}}^{W_{G_{m′}}} (φψ⊗1)}.

En appliquant (1.13) respectivement à ψ et à 1, nous obtenons

ψ = \frac{1}{|W_{G_{l}}|} ∑_{w∈W_{G_{l}}} ψ(w) γ_{w}^{W_{G_{l}}} et 1 = \frac{1}{|W_{G_{m−l}}|} ∑_{v∈W_{G_{m−l}}} γ_{v}^{W_{G_{m−l}}} ,

et, par conséquent,

ψ ⊗ 1 = \frac{1}{|W_{G_{l}}||W_{G_{m−l}}|} ∑_{w∈W_{G_{l}}} ψ(w) ∑_{v∈W_{G_{m−l}}} γ_{wv}^{W_{G_{l}} ×W_{G_{m−l}}};

comme Ind_{W_{G_{l}} ×W_{G_{m−l}}}^{W_{Gm}} (γ_{wv}^{W_{G_{l}} ×W_{G_{m−l}}}) = γ_{wv}^{W_{Gm}}, il s’ensuit que

Ind_{W_{G_{l}} ×W_{G_{m−l}}}^{W_{Gm}} (ψ ⊗ 1) = \frac{1}{|W_{G_{l}}||W_{G_{m−l}}|} ∑_{w∈W_{G_{l}}} ψ(w) ∑_{v∈W_{G_{m−l}}} γ_{wv}^{W_{Gm}};

et donc, en utilisant (1.14) que

R_{Ind_{W_{G_{l}} ×W_{G_{m−l}}}^{W_{Gm}} (ψ⊗1)} = \frac{1}{|W_{G_{l}}||W_{G_{m−l}}|} ∑_{w∈W_{G_{l}}} ψ(w) ∑_{v∈W_{G_{m−l}}} R_{wv}.

Le même calcul avec φψ au lieu de ψ montre que

R_{Ind_{W_{G_{l}} ×W_{G_{m′−l}}}^{W_{G_{m′}}} (φψ⊗1)} = \frac{1}{|W_{G_{l}}||W_{G_{m′−l}}|} ∑_{w∈W_{G_{l}}} φψ(w) ∑_{v′∈W_{G_{m′−l}}} R_{wv′}.

Le terme (4.2) est donc égal, en tenant compte de

∑_{ψ∈Irr(W_{G_{l}})} ψ(w)ψ(w′) = \{ \begin{matrix}0 & si w et w′ ne sont pas conjugués, \\ | C_{W_{G_{l}}} (w)| & sinon, \end{matrix}

à

\frac{ε^{mm′+l}}{|W_{G_{l}}||W_{G_{m−l}}||W_{G_{m′−l}}|} ∑_{w∈W_{G_{l}}} φ(w) ∑_{v∈W_{G_{m−l}}} ∑_{v′∈W_{G_{m′−l}}} R_{wv} ⊗ R_{wv′},

qui est la projection unipotente du terme correspondant à l dans l’expression de ω_{m,m′}^{#} qui figure dans la proposition (2.1).

Dans le reste de ce chapitre, nous traduisons 4.1 dans les algèbres R𝔖 et RB.

4.3 Théorème. Soient X^{ε} := ∑_{h≥0} ε^{h}x_{h} et X^{∗} := ∑_{h≥0} x_{h}^{∗}. Soit Ω l’élément de R𝔖 ⊗ R𝔖 correspondant à l’application de R𝔖 dans R𝔖 définie par ψ ↦ X^{ε}.X^{∗}(ψ); la partie unipotente de la restriction à GL_{m}(εq).GL_{m′}(εq) de la représentation de Weil ω^{♭} est égale à R_{ε^{(m+1)m′} Ω_{m,m′}}^{GL_{m}×GL_{m′}}, où Ω_{m,m′} désigne la composante bi-homogène de

degrés (m, m′) de Ω.

Démonstration. D’après la proposition 4.1, la partie unipotente de ω_{m,m′}, qui est égale à :

ε^{mm′} ∑_{l=0}^{min(m,m′)} ε^{l} ∑_{ψ∈Irr(𝔖_{l})} R_{Ind_{𝔖_{l}×𝔖_{m−l}}^{𝔖m} (ψ⊗1)}^{GL_{m}} ⊗ R_{Ind_{𝔖_{l}×𝔖_{m′−l}}^{𝔖_{m′}} (ψ⊗1)}^{GL_{m′}}

386 AUBERT, MICHEL ET ROUQUIER

s’écrit encore :

R_{ε^{mm′} ∑_{l=0}^{min(m,m′)} ε^{l} ∑_{ψ∈Irr(𝔖_{l})} ψ x_{m−l}⊗ψ x_{m′−l}}^{GL_{m}×GL_{m′}}.

Donc la partie unipotente de ω_{m,m′} est R_{ε^{(m+1)m′} A_{m,m′}}^{GL_{m}×GL_{m′}}, où :

A_{m,m′} = ∑_{l=0}^{min(m,m′)} ε^{m′−l} ∑_{ψ∈Irr(𝔖_{l})} ψ x_{m−l} ⊗ ψ x_{m′−l}.

Il nous faut donc vérifier que Ω vaut

∑_{m,m′} A_{m,m′} = ∑_{k,k′,l} ∑_{ρ∈Irr(𝔖_{l})} ε^{k′}x_{k}ρ ⊗ x_{k′}ρ.

Or, pour ϕ, ψ ∈ R𝔖, on a

⟨ ϕ ⊗ ψ, A ⟩ = ∑_{k,k′,ρ} ⟨ ϕ, ρx_{k} ⟩⟨ ψ, ρε^{k′}x_{k′} ⟩

= ∑_{k,k′,ρ} ⟨ x_{k}^{∗}ϕ, ρ ⟩⟨ ε^{k′}x_{k′}^{∗}ψ, ρ ⟩

= ∑_{k,k′} ⟨ x_{k}^{∗}ϕ, ε^{k′}x_{k′}^{∗}ψ ⟩ (*)

= ∑_{k,k′} ⟨ ε^{k′}x_{k′}x_{k}^{∗}ϕ, ψ ⟩

= ⟨ X^{ε}X^{∗}ϕ, ψ ⟩;

d’où le résultat.

Nous traitons maintenant le cas des paires orthogonales-symplectiques.

4.4 Théorème.

(a) Le terme ω_{m,m′,1}^{#} est égal à R_{Ω_{m,m′}}^{Sp_{2m}(q)×(O_{2m′}^{+} (q) ⊕ O_{2m′}^{−} (q))} où :

Ω_{m,m′} = ∑_{l=0}^{min(m,m′)} ∑_{ψ⊠ϕ∈Irr(W_{l})}((ψx_{m−l}) ⊠ ϕ) ⊗ ((ϕx_{m′−l}) ⊠ ψ).

(b) L’application de RB dans RB correspondant à ∑_{m,m′} Ω_{m,m′} est donnée par ψ ⊠ ϕ ↦ Xϕ ⊠ X^{∗}ψ.

Démonstration. L’assertion (a) résulte immédiatement des propositions 3.5 et 4.1. Soit maintenant ψ ⊠ ϕ ∈ R(W_{m}) (resp. ψ′ ⊠ ϕ′ ∈ R(W_{m′})), on a alors :

⟨Ω_{m,m′}, (ψ ⊠ ϕ) ⊗ (ψ′ ⊠ ϕ′)⟩

= ∑_{l=0}^{min(m,m′)} ∑_{ψ′′⊠ϕ′′∈Irr(W_{l})}⟨ψ ⊠ ϕ, (ψ′′x_{m−l}) ⊠ ϕ′′⟩⟨ψ′ ⊠ ϕ′, (ϕ′′x_{m′−l}) ⊠ ψ′′⟩

= ∑_{l=0}^{min(m,m′)} ∑_{ψ′′⊠ϕ′′∈Irr(W_{l})}⟨x_{m−l}^{∗}(ψ) ⊠ ϕ, ψ′′ ⊠ ϕ′′⟩⟨ϕ′ ⊠ x_{m′−l}^{∗}(ψ′), ψ′′ ⊠ ϕ′′⟩

= ∑_{l=0}^{min(m,m′)}⟨x_{m−l}^{∗}(ψ) ⊠ ϕ, ϕ′ ⊠ x_{m′−l}^{∗}(ψ′)⟩

= ∑_{l=0}^{min(m,m′)}⟨ϕx_{m′−l} ⊠ x_{m−l}^{∗}(ψ), ψ′ ⊠ ϕ′⟩,

d’où l’assertion (b).

5. Description explicite de la correspondance de Howe dans les cas linéaires et unitaires

Nous appellerons partitions de n ∈ ℕ les suites décroissantes d’entiers naturels strictement positifs

ν = (ν_{1}, …, ν_{k}) telles que ∑_{1≤j≤k} ν_{j} = n.

Il peut être commode dans certains cas de permettre à la fin d’une suite un certain nombre de zéros, et de considérer comme équivalentes des suites qui ne diffèrent que par des zéros. Nous appellerons l(ν) le nombre de ν_{j} non nuls. Nous poserons ||ν|| = n. Nous noterons ^{t}μ la partition duale de μ, c’est-à-dire la partition telle que μ′_{i} est le cardinal de l’ensemble {j | μ_{j} ≥ i}, pour 1 ≤ i ≤ μ_{1} .

Les caractères du groupe symétrique sont en bijection avec les partitions de n; nous noterons [ν] le caractère de 𝔖_{n} correspondant à ν. Le caractère identité de 𝔖_{n} sera ainsi noté x_{n} = [(n)] et le caractère signe sera noté y_{n} = [(1, …, 1)].

Si μ = (μ_{1}, …, μ_{r}) et μ′ = (μ′_{1}, …, μ′_{s}) sont deux partitions, nous appellerons intersection de μ et μ′, notée μ∩μ′ la partition (inf(μ_{1}, μ′_{1}), …, inf(μ_{inf(r,s)}, μ′_{inf(r,s)})).

Nous dirons que μ est contenue dans μ′, ce que nous notons μ ⊂ μ′, si μ ∩ μ′ = μ. Soit ν = (ν_{1}, …, ν_{t}) ⊂ (μ∩μ′). Nous noterons p_{μ=μ′}(ν) la partition (ν_{i})_{{i|μ_{i}=μ′_{i}}}, et

p_{μ≠μ′}(ν) la partition (ν_{i})_{{i|μ_{i}≠μ′_{i}}}. Nous noterons μ∩^{=} μ′ pour p_{μ=μ′}(μ∩μ′) et μ∩^{≠} μ′ pour p_{μ≠μ′}(μ ∩ μ′)

Nous dirons que μ et μ′ sont proches si pour tout i on a |μ_{i} − μ′_{i}| ≤ 1. Enfin nous écrirons ν ≼ μ si ν ⊂ μ et ν est proche de μ.

A. Une première description.

5.1 Lemme. Soient μ, ν deux partitions et i un entier positif. Alors :

< x_{i}^{∗}([^{t}μ]), [^{t}ν] >= \{ \begin{matrix}1 & si ν ≼ μ et i = ||μ|| − ||ν|| \\ 0 & sinon \end{matrix}

Démonstration. C’est un cas particulier de la règle de Littlewood-Richardson (voir [Z, prop. 4.18]).

5.2 Lemme. Soient μ et μ′ deux partitions proches. Alors, l’application ν ↦ p_{μ=μ′}(ν) induit une bijection de l’ensemble {ν | ν ≼ μ et ν ≼ μ′} vers l’ensemble {γ | γ ≼ μ ∩^{=} μ′}.

Démonstration. Si ν ⊂ μ ∩ μ′ est proche à la fois de μ et de μ′ on a clairement p_{μ≠μ′}(ν) = μ ∩^{≠} μ′, donc se donner ν équivaut à se donner p_{μ=μ′}(ν).

Si μ et μ′ sont des partitions, soit ε^{||μ′||}c_{[μ],[μ′]} le coefficient de [μ]⊗[μ′] dans Ω (voir (4.3)).

5.3 Lemme.

c_{[^{t}μ],[^{t}μ′]} = \{ \begin{matrix}ε^{||μ∩^{≠}μ′||}c_{[^{t}(μ∩^{=}μ′)],[^{t}(μ∩^{=}μ′)]} & si μ et μ′ sont proches, \\ 0 & sinon. \end{matrix}

Démonstration. Il résulte de (*) dans la démonstration du théorème 4.3 que

c_{[^{t}μ],[^{t}μ′]} = ∑_{ν} ε^{||ν||} < x_{||μ||−||ν||}^{∗}([^{t}μ]), [^{t}ν] >< x_{||μ′||−||ν||}^{∗}([^{t}μ′]), [^{t}ν] >

= ∑_{ν≼μ et ν≼μ′} ε^{||ν||} par le lemme 5.1

= ε^{||μ∩^{≠}μ′||} ∑_{γ≼μ∩^{=}μ′} ε^{||γ||} par le lemme 5.2

= ε^{||μ∩^{≠}μ′||} ∑_{γ} ε^{||γ||} < x_{||μ∩^{=}μ′||−||γ||}^{∗}([^{t}(μ ∩^{=} μ′)]), [^{t}γ] >^{2} par le lemme 5.1,

d’où le lemme.

On dit qu’une partition μ = (μ_{1}, …, μ_{r}) est paire si pour tout i le cardinal de l’ensemble {j | μ_{j} = i} est pair, c’est à dire si chaque partie apparaît un nombre pair de fois.

5.4 Lemme. Dans le cas des paires unitaires (ε = −1) on a

c_{[^{t}μ],[^{t}μ]} = \{ \begin{matrix}1 & si μ est paire, \\ 0 & sinon; \end{matrix}

dans le cas des paires linéaires (ε = 1), si μ = (r^{k_{1}}, …, 1^{k_{r}}), on a

c_{[^{t}μ],[^{t}μ]} = ∏_{i} k_{i}.

Démonstration. On a c_{[^{t}μ],[^{t}μ]} = ε^{||μ||} ∑_{ν≼μ} ε^{||μ||−||ν||}. Si μ = (r^{k_{1}}, …, 1^{k_{r}}), on a donc

c_{[^{t}μ],[^{t}μ]} = ε^{||μ||} ∑_{i_{1}≤k_{1},...,i_{r}≤k_{r}} ε^{∑ i_{j}} = ε^{||μ||} ∏_{j=1}^{r} ∑_{i=0}^{k_{j}} ε^{i},

d’où le résultat : ∑_{i=0}^{k_{j}}(−1)^{i} est nul sauf si k_{j} est pair, auquel cas il vaut 1.

Le caractère fantôme R_{[μ]}^{GL_{m}} défini en (1.11) est un caractère irréductible. Nous pouvons donc résumer comme suit les résultats obtenus, avec les notations de 3.10 et 3.11 :

5.5 Théorème. Pour RG = ⨁_{m} R(GL_{m}(q)) = RG′, la correspondance de Howe entre caractères unipotents est donnée par R_{[μ]}^{GL_{m}} ↦ R_{Θ([μ])}^{GL_{m′}}, où Θ est l’application de R𝔖 dans R𝔖 définie par

[μ] ↦ ∑_{^{t}μ′ proche de ^{t}μ} f(^{t}μ ∩^{=} ^{t}μ′)[μ′],

où, si ν = (r^{k_{1}}, …, 1^{k_{r}}), on pose f(ν) = ∏_{i} k_{i}.

Si μ et μ′ sont deux partitions proches, nous dirons que μ et μ′ sont transverses si μ ∩^{=} μ′ est vide. Nous dirons que μ et μ′ sont 2-transverses si la partition μ ∩^{=} μ′ est paire (en particulier, si μ et μ′ sont transverses elles sont 2-transverses). Enfin on définit la partition ζ = μ ∩^{inf} μ′ par ζ = {sup(μ_{i}, μ′_{i}) − 1}_{1≤i≤sup(l(μ),l(μ′))}.

Remarque

Si μ et μ′ sont proches, alors on a p_{μ≠μ′}(μ ∩^{inf} μ′) = μ ∩^{≠} μ′ et pour tout i on a (p_{μ=μ′}(μ ∩^{inf} μ′))_{i} = (μ ∩^{=} μ′)_{i} − 1.

Avec cette terminologie, la correspondance de Howe dans le cas des paires unitaires est donnée par :

5.6 Proposition.

c_{[^{t}μ],[^{t}μ′]} = \{ \begin{matrix}(−1)^{||μ∩μ′||} = (−1)^{||μ∩^{inf} μ′||} & si μ et μ′ sont 2-transverses, \\ 0 & sinon. \end{matrix}

Démonstration. C’est une conséquence immédiate des deux lemmes précédents, en remarquant que si μ ∩^{=} μ′ est paire, alors (−1)^{||μ∩μ′||} = (−1)^{||μ∩^{≠}μ′||} et ||μ ∩ μ′|| − ||μ ∩^{inf} μ′|| = {nombre de parties de μ ∩^{=} μ′} est pair.

B. Etude des 2-cœurs. Nous avons besoin de quelques termes du langage des “diagrammes de Young”. Le diagramme de Young associé à la partition μ de m, est le sous-ensemble de ℕ^{+} × ℕ^{+} défini par :

D(μ) = {(i, j) ∈ ℕ^{+} × ℕ^{+} | 1 ≤ i ≤ μ_{j}}

que nous visualisons comme un ensemble de pavés de côté unité du “quart Nord-Est” du plan euclidien. Nous appelons frontière de μ les pavés “extrémaux”, c’est-à-dire les {(i, j) ∈ D(μ) | (i, j + 1) ∉ D(μ) et (i + 1, j) ∉ D(μ)}. Nous appelons 2-crochet de μ un couple de la forme {(i, j), (i, j + 1)} ou {(i, j), (i + 1, j)} d’éléments de la frontière de μ tels qu’on obtienne encore le diagramme d’une partition en retirant ces éléments à D(μ). Le premier type de crochet est dit de type (1^{2}) et le second de type (2).

5.7 Lemme. Soient μ et μ′ deux partitions proches. Alors, μ et μ′ sont 2-transverses si et seulement si il existe deux partitions transverses μ̄ et μ̄′, obtenues respectivement à partir de μ et μ′ en enlevant des 2-crochets de la forme (1^{2}), telles que μ ∩^{inf} μ′ = μ̄ ∩^{inf} μ̄′.

Démonstration. p_{μ=μ′}(μ ∩^{inf} μ′) est obtenue à partir de μ ∩^{=} μ′ en enlevant toute la frontière. Donc μ et μ′ sont 2-transverses si et seulement si p_{μ=μ′}(μ ∩^{inf} μ′) est obtenue à partir de μ ∩^{=} μ′ en enlevant des 2-crochets de la forme (1^{2}). Ces crochets sont des crochets de μ ou des crochets de μ′. Il existe donc une famille F_{μ} de crochets de μ (qui sont de la forme (1^{2}) et sont en fait des crochets de μ ∩^{=} μ′), et une famille semblable F′_{μ} de crochets de μ′, telles que μ ∩^{inf} μ′ soit obtenue à partir de μ ∩ μ′ en retirant F_{μ} et F′_{μ} à μ ∩^{=} μ′. On prend pour μ̄ (resp. μ̄′) la partition obtenue en retirant F_{μ} (resp. F′_{μ}) à μ (resp. μ′). Il est clair que μ̄ et μ̄′ sont transverses, puisque F_{μ} ∪ F′_{μ} est toute la frontière de μ ∩^{=} μ′.

Réciproquement soient μ̄ et μ̄′ deux partitions transverses obtenues respectivement à partir de μ et μ′ en enlevant des 2-crochets de la forme (1^{2}), avec μ∩^{inf} μ′ = μ̄∩^{inf} μ̄′. Soit ζ un tel crochet de μ. Soit k tel que ζ se trouve aux lignes k et k + 1 de μ. On a ainsi μ̄_{k} = μ_{k} − 1, μ̄′_{k} = μ̄_{k} + 1 car μ̄ et μ̄′ sont transverses, d’où μ̄′_{k} = μ_{k}. Comme (μ ∩^{inf} μ′)_{k} = (μ̄ ∩^{inf} μ̄′)_{k}, on a μ_{k} ≥ μ′_{k} ≥ μ̄′_{k} = μ_{k} d’où égalité des trois termes et (μ ∩^{inf} μ′)_{k} = (μ ∩^{=} μ′)_{k} − 1. De même, (μ ∩^{inf} μ′)_{k+1} = (μ ∩^{=} μ′)_{k+1} − 1. On a le même résultat si on part d’un crochet semblable ζ de μ′.

Il reste à voir que tout point de la frontière de μ ∩^{=} μ′ appartient à un tel crochet. Soit k tel que μ_{k} = μ′_{k}, alors (μ̄∩^{inf} μ̄′)_{k} = μ_{k} −1 = μ′_{k} −1 = sup(μ̄_{k}, μ̄′_{k})−1. Puisque μ̄ et μ̄′ sont transverses, on a μ̄_{k} ≠ μ̄′_{k}, donc nécessairement μ̄_{k} = μ_{k} − 1 ou μ̄′_{k} = μ′_{k} − 1 et ainsi il existe un crochet ζ de μ ou μ′ du type étudié précédemment, qui se trouve aux lignes (k − 1, k) ou (k, k + 1).

Soit μ = (μ_{1}, …, μ_{r}) une partition de m. Soit t ≥ r un entier. On appelle t-ensemble de β-nombres associé à μ, l’ensemble β = {β_{i}}_{i=1,...,t}, où β_{i} = μ_{i} +t−i. Nous noterons β^{t} (resp. β^{t,μ}) quand nous aurons besoin de préciser t (resp. μ). Réciproquement, à toute suite β = {β_{1}, …, β_{t}} strictement décroissante d’entiers positifs, on peut associer la partition μ correspondante, définie par μ_{i} = β_{i} − t + i.

Si β^{t} est le t-ensemble de β-nombres associé à μ, où t ≥ l(μ), on pose β^{t}(0) = \{\frac{β_{i}}{2} |β_{i} pair\} et β^{t}(1) = \{\frac{β_{i}−1}{2}|β_{i} impair\}. Soient μ(0) et μ(1) les partitions respectivement associées aux ensembles de β-nombres β(0) et β(1). Alors, le couple (μ(0), μ(1)) ne dépend que de la classe t̄ de t modulo 2, et on appelle μ(0) et μ(1) les 2-quotients de μ de paramètre t̄.

On appelle 2-cœur de μ la partition minimale pour l’inclusion, contenue dans μ et obtenue à partir de μ en enlevant des 2-crochets.

5.8 Lemme. Si μ′ est une partition obtenue à partir de μ en enlevant un 2crochet, alors il existe j tel que μ′ soit la partition associée à l’ensemble de β-nombres {β_{1}, …, β_{j−1}, β_{j} − 2, β_{j+1}, …, β_{t}}

Démonstration. C’est facile à voir; le fait qu’on puisse retirer un 2-crochet à μ implique qu’il existe j tel que les nombres ci-dessus soient distincts. Notons qu’ils n’apparaissent pas nécessairement en ordre décroissant ci-dessus, il se peut qu’il faille échanger β_{j} − 2 et β_{j+1}.

Il résulte de 5.8 que le 2-cœur de μ ne contient que des β-nombres pairs (resp. impairs) consécutifs. Son t-ensemble de β-nombres est {1, 3, …, t_{0} + 1, 0, 2, …, t_{1}}, où t_{0} = |β^{t}(0)| et t_{1} = |β^{t}(1)|. Nous notons τ_{k} la partition correspondante (le “kième 2-cœur”), qui est une partition triangulaire à k lignes, de surface (k^{2} + k)/2, où k = t_{1} − t_{0} si t_{1} ≥ t_{0} et k = t_{0} − t_{1} − 1 sinon.

5.9 Lemme. Si μ et μ′ sont 2-transverses, alors μ et μ′ ont des 2-cœurs consécutifs ou bien μ et μ′ ont des 2-cœurs vides.

Démonstration. D’après le lemme 5.7, on peut supposer que μ et μ′ sont transverses. Soit t = sup(l(μ), l(μ′)), et β^{t,μ}, β^{t,μ′} les t-ensembles de β-nombres correspondants. Comme μ et μ′ sont transverses, tout élément de β^{t,μ} diffère de 1 de l’élément correspondant de β^{t,μ′}. Il en résulte que |β^{t,μ}(0)| = |β^{t,μ′}(1)| et |β^{t,μ}(1)| = |β^{t,μ′}(0)|. Ceci donne le résultat vu la formule pour la taille k du 2-coeur donnée ci-dessus.

5.10 Lemme. Si μ et μ′ sont 2-transverses, τ et τ′ sont les 2-cœurs de μ et μ′ respectivement alors sup(l(μ), l(μ′)) ≡ ||τ|| − ||τ′|| (mod 2).

Démonstration. Si μ et μ′ sont 2-transverses, il est clair que ||μ||−||μ′|| = sup(l(μ), l(μ′)) (mod 2), de même qu’il est clair que ||μ|| = ||τ|| et ||μ′|| = ||τ′||, d’où le résultat.

C. Description à l’aide des 2-quotients. En traduisant la condition μ ≼ μ′ en termes des ensembles de β-nombres associés, on obtient :

5.11 Remarque. μ ≼ μ′ si et seulement si pour tout i ≤ t on a :

β_{i}^{t,μ} ≤ β_{i}^{t,μ′} ≤ β_{i}^{t,μ} + 1.

5.12 Proposition. Soient μ et μ′ deux partitions et τ et τ′ leurs 2-cœurs. Supposons τ et τ′ consécutifs ou tous deux vides. Soient (μ(0), μ(1)) et (μ′(0), μ′(1)) les 2-quotients de paramètre (||τ|| − ||τ′||) (mod 2). Alors, μ et μ′ sont 2-transverses si et seulement si μ(1) ≼ μ′(0) et μ′(1) ≼ μ(0).

Démonstration. Soit t = sup(l(μ), l(μ′)). Supposons par exemple l(μ) ≥ l(μ′). Soient β^{t,μ} = {β_{1}, …, β_{t}} et β^{t,μ′} = {β′_{1}, …, β′_{t}} les t-ensembles de β-nombres correspondants.

• Supposons μ et μ′ 2-transverses. On définit f : β^{t,μ} → β^{t,μ′} de la façon suivante : si μ_{i} ≠ μ′_{i}, on pose f(β_{i}) = β_{i} +μ′_{i} −μ_{i}. Sinon si μ_{i} = μ′_{i}, soit j = inf{k|μ_{k} = μ′_{k} = μ_{i}}. Si i − j est impair, on a μ′_{i−1} = μ_{i} et on pose f(β_{i}) = β_{i} − 1. Sinon si i − j est pair, puisque μ et μ′ sont 2-transverses, on a μ′_{i+1} = μ_{i} et on pose f(β_{i}) = β_{i} + 1.

Il est clair que l’application ainsi définie est une bijection, dont les restrictions de f à {β_{i} pair} et {β_{i} impair} sont strictement croissantes, d’images {β′_{i} impair} et {β′_{i} pair} respectivement. En outre, pour tout β ∈ β^{t,μ}, on a f(β) = β ± 1. En utilisant pour i tel que β_{i} soit pair les inégalités qui en résultent

\frac{f(β_{i}) − 1}{2} ≤ \frac{β_{i}}{2} ≤ \frac{f(β_{i}) − 1}{2} + 1  (a)

et pour β_{i} impair,

\frac{β_{i} − 1}{2} + 1 ≥ \frac{f(β_{i})}{2} ≥ \frac{β_{i} − 1}{2},  (b)

On en déduit, d’après 5.11, μ(1) ≼ μ′(0) et μ′(1) ≼ μ(0).

• Supposons réciproquement que μ(1) ≼ μ′(0) et μ′(1) ≼ μ(0). Puisque τ et τ′ sont consécutifs ou tous deux vides, on a |β^{t,μ}(0)| = |β^{t,μ′}(1)| et |β^{t,μ′}(0)| = |β^{t,μ}(1)|. Soit f : β^{t,μ} → β^{t,μ′} l’unique bijection se restreignant en des applications strictement croissantes de {β_{i} impair} dans {β′_{i} pair} et de {β_{i} pair} dans {β′_{i} impair}. De μ(1) ≼ μ′(0) et μ′(1) ≼ μ(0) on déduit les inégalités (a) et (b), et donc pour tout β ∈ β^{t,μ}, on a f(β) = β ± 1.

Soit j tel que μ_{j} = μ′_{j}, ou de façon équivalente, β_{j} = β′_{j}. On a f(β_{j}) = β_{j}±1 = β′_{j}±1, d’où f(β_{j}) = β′_{j±1}.

Supposons par exemple f(β_{j}) = β′_{j−1} = β′_{j} +1. On a f(β_{j−1}) = β_{j−1} ±1 ≥ β_{j} = β′_{j}. On a f^{−1}(β′_{j}) = β_{j±1} ; si f(β_{j+1}) = β′_{j}, alors il existe l ≤ j − 1 tel que f(β_{l}) = β_{l′} avec l′ ≥ j + 1, puisque f est bijective : c’est impossible puisque f(β) = β ± 1 et la suite des β_{i} (resp. des β′_{i}) est strictement décroissante. Ainsi, f^{−1}(β′_{j}) = β_{j−1} = β_{j} − 1 et β_{j−1} = β′_{j−1}. De même, si f(β_{j}) = β′_{j+1}, on conclut que β′_{j+1} = β_{j+1}.

Soit maintenant j tel que μ_{j} ≠ μ′_{j}, supposons par exemple μ_{j} > μ′_{j}. Alors, β_{j} > β′_{j} et f(β_{j}) = β_{j} ± 1 ≥ β′_{j}. Soit k tel que f(β_{j}) = β′_{k}. Si k < j alors, f étant bijective, il existe l < j tel que f(β_{l}) = β′_{l′} avec l′ ≤ j, et on a à nouveau une contradiction.

Ainsi, pour tout j, on a |β′_{j} − β_{j}| ≤ 1 et donc μ et μ′ sont proches. Soit j tel que β_{j} = β′_{j} et j_{1} ≤ j minimal et j_{2} ≥ j maximal tels que pour tout

k, j_{1} ≤ k ≤ j_{2}, on ait β_{k} = β′_{k}. Alors, d’après ce qui précède, f({β_{j_{1}}, …, β_{j_{2}}}) = {β′_{j_{1}}, …, β′_{j_{2}}} et

f(β(0) ∩ {β_{j_{1}}, …, β_{j_{2}}}) = β′(1) ∩ {β′_{j_{1}}, …, β′_{j_{2}}} = β(1) ∩ {β_{j_{1}}, …, β_{j_{2}}}.

Il en résulte que j_{2} − j_{1} est pair, et par conséquent que μ et μ′ sont 2-transverses. Pour réexprimer la proposition précédente en termes de correspondance de Howe,

nous utilisons le lemme suivant (bien connu des spécialistes, mais dont nous n’avons pu trouver de référence commode) :

5.13 Lemme. Soit μ une partition. Soit t ∈ {0, 1}. Soit (μ(0), μ(1)) le 2-quotient de μ de paramètre t. Alors, le 2-quotient de ^{t}μ de paramètre t est (^{t}μ(1),^{t}μ(0)).

Nous associerons le signe suivant à la partition μ = (μ_{1}, …, μ_{k}) de m

ε_{μ} = (−1)^{∑_{i=1}^{k} \binom{μ_{i}}{2}+\binom{m(m−1)}{2}},

où ^{t}μ = (μ′_{1}, …, μ′_{k′}) de sorte que ε_{μ}R_{[μ]}^{GL_{m}} (où R_{[μ]}^{GL_{m}} est le caractère fantôme défini en (1.12)) est un vrai caractère du groupe unitaire U_{m} = GL_{m}(−q) (voir [DM2, preuve du lem. 9.6]).

Rappelons la proposition suivante (voir [FS, appendice, prop. p. 224]) :

5.14 Proposition.

(i) La représentation unipotente cuspidale λ_{k} de U_{1/2(k^{2}+k)}(q) est ε_{τ_{k}}R_{[τ_{k}]}^{U_{1/2(k^{2}+k)}}.

(ii) Pour m ≥ 1/2(k^{2} + k), les caractères irréductibles de R(U_{m}(q))_{λ_{k}} sont les ε_{μ}R_{[μ]}^{U_{m}} où μ est une partition de 2-coeur τ_{k}. Le caractère ε_{μ}R_{[μ]}^{U_{m}} est associé à l’élément de RB_{1/2(m−1/2(k^{2}+k))} donné par [μ(0)] ⊠ [μ(1)] où μ(0) et μ(1) sont les 2-quotients de paramètre 1 de μ.

Nous démontrons maintenant le théorème 3.10 dont nous rappelons l’énoncé.

5.15 Théorème. Pour RG = ⨁_{m} U_{m}(q), pour tout couple (λ_{k}, λ_{k′}) de caractères cuspidaux unipotents qui se correspondent (i.e., k′ = k + 1 ou k = k′ = 0), Θ_{λ_{k},λ_{k′}} est l’application de RB dans RB définie par ν ⊠ μ ↦ Xμ ⊠ X^{∗}(ν) si k est impair ou si k = k′ = 0 et ν ⊠ μ ↦ X^{∗}(μ) ⊠ Xν sinon.

Démonstration. Soient μ, μ′ deux partitions de 2-cœur respectivement τ_{k} et τ_{k′} et de 2-quotient de paramètre 1 respectivement (μ(0), μ(1)) et (μ′(0), μ′(1)). La représentation de Weil étant une vraie représentation, nous n’avons pas de question de signe à nous poser, et il suffit donc de vérifier que c_{[μ],[μ′]} est non nul exactement quand μ′(0) ⊠ μ′(1) est un composant de Xμ(1) ⊠ X^{∗}μ(0) ou de X^{∗}μ(0) ⊠ Xμ(1), suivant la parité de k. Or c_{[μ],[μ′]} ≠ 0 si et seulement si ^{t}μ et ^{t}μ′ sont 2-transverses.

• Supposons k pair et k ≠ 0 ou k′ ≠ 0, c’est à dire |τ_{k}|−|τ_{k′}| impair. Les 2-quotients de paramètre 1 de ^{t}μ et ^{t}μ′ sont (^{t}μ(1),^{t}μ(0)) et (^{t}μ′(1),^{t}μ′(0)), d’après 5.13. Donc, d’après 5.12, c_{[μ],[μ′]} ≠ 0 si et seulement si^{t}μ(0) ≼ ^{t}μ′(1) et^{t}μ′(0) ≼ ^{t}μ(1), c’est à dire, en utilisant 5.1, si et seulement si ⟨ X^{∗}([μ(1)]), [μ′(0)] ⟩ ≠ 0 et ⟨ [μ′(1)], X([μ(0)]) ⟩ ≠ 0 d’où le résultat dans ce cas.

• Supposons k impair ou k = k′ = 0, c’est à dire |τ_{k}| − |τ_{k′}| pair. Les 2-quotients de paramètre 0 de ^{t}μ et ^{t}μ′ sont (^{t}μ(0),^{t}μ(1)) et (^{t}μ′(0),^{t}μ′(1)), d’après 5.13. Donc, d’après 5.12, c_{[μ],[μ′]} ≠ 0 si et seulement si^{t}μ(1) ≼ ^{t}μ′(0) et^{t}μ′(1) ≼ ^{t}μ(0), c’est à dire, en utilisant 5.1, si et seulement si ⟨ X^{∗}([μ(0)]), [μ′(1)] ⟩ ≠ 0 et ⟨ [μ′(0)], X([μ(1)]) ⟩ ≠ 0 d’où le résultat.

6. Cas symplectique-orthogonal : indices pour la conjecture

Nous présentons ici les calculs qui nous ont incités à faire la conjecture 3.11, ainsi que quelques indices montrant qu’il y a un espoir de démontrer combinatoirement cette conjecture.

Nous avons calculé à l’aide d’un ordinateur la représentation unipotente ω_{m,m′,1}, pour G_{m} = Sp_{2m}(q) et G′_{m′} = O_{2m′}^{±}(q), à une ambiguité près pour la série principale (où nous n’avons que la restriction de ω_{m,m′} à Sp_{2m}(q)×SO_{2m′}^{±}(q)), pour m, m′ ≤ 11. Nous expliquons la méthode, et pourquoi les résultats suggèrent que cette méthode pourrait fournir une démonstration (avec cependant toujours une ambiguité pour la série principale).

Soit ω′_{m,m′} la restriction à Sp_{2m}(q) × SO_{2m′}^{±}(q) de la représentation de Weil ω_{m,m′} de Sp_{2m}(q) × O_{2m′}^{±}(q); nous notons ω_{m,m′,1} et ω′_{m,m′,1} les projections unipotentes de ces représentations. Un résultat de Waldspurger (cf. [MVW, chap. 4, IV, 5]) affirme que ω_{m,m′} est sans multiplicité; il en résulte que ω′_{m,m′,1} est une représentation où tout caractère irréductible intervient avec multiplicité au plus deux.

Par ailleurs, ω_{m,m′,1}^{♯} est donnée par le théorème 4.4. Comme expliqué ci-dessous, ω_{m,m′,1}^{♯} est un élément de ℚR(Sp_{2m}(q)×O_{2m′}^{±}(q)); notre programme vérifie que, dans tous les cas testés, il existe un seul élément ω′_{m,m′,1} de R(Sp_{2m}(q)×O_{2m′}^{±}(q)) tel que :

• Les coefficients de ω′_{m,m′,1} sur les caractères irréductibles sont 0, 1 ou 2.

• La projection de ω′_{m,m′,1} sur les fonctions uniformes est égale à ω_{m,m′,1}^{♯}. Nous noterons que, au vu du théorème 3.7 et de la description explicite qui suit

sa démonstration, la connaissance de ω′_{m,m′,1} détermine les termes ω^{λ_{k},λ_{k+1}^{I}}, ainsi que les termes ω^{λ_{k},λ_{k}^{II}} pour k > 0 : en effet un caractère irréductible χ ∈ R(SO_{2m}^{±}(q))_{λ_{k}}, où k > 0, possède deux extensions à O_{2m}^{±}(q), qui sont respectivement dans les séries R(O_{2m}^{±}(q))_{λ_{k}^{I}} et R(O_{2m}^{±}(q))_{λ_{k}^{II}}; et si ψ ⊗ χ intervient dans ω′_{m,m′}, nous savons déterminer en fonction de la série de ψ lequel des cas se présente.

Les calculs on été faits en langage GAP (cf. [Sc]), sauf la partie cruciale (la recherche d’un élément d’un réseau à coefficients ≤ 2 et possédant une projection donnée sur un sous-espace vectoriel) pour laquelle nous remercions Philippe Hoogvorst de nous avoir fourni un algorithme efficace écrit en langage C.

Nous décrivons maintenant plus en détail les calculs. Les caractères unipotents des groupes Sp_{2m}(q) et SO_{2m′}^{±}(q) sont paramétrés par les symboles introduits par Lusztig [L2]. Un symbole est une paire Λ = (S, T) (non ordonnée) de parties de ℕ, modulo la relation d’équivalence (S, T) ∼ ({0} ∪ S + 1, {0} ∪ T + 1) (un “décalage”). On appelle rang du symbole le nombre

rg(Λ) = ∑_{ν∈S} ν + ∑_{μ∈T} μ + [(|S| + |T | − 1)^{2}/4]

(il est facile de voir que ce nombre est invariant pour la relation d’équivalence définissant les symboles). On normalisera un symbole en supposant |S| ≥ |T | et 0 ∉ S ∩ T; on dit alors que le symbole est réduit, et on appelle défaut du symbole le nombre def(Λ) = |S| − |T | (cette normalisation choisit un représentant bien défini si def(Λ) > 0). On notera que si S est la suite de β-nombres d’une partition ν, et T la suite de β-nombres d’une partition μ, alors rg(Λ) = ||ν|| + ||μ|| + [def(Λ)^{2}/4]. Lusztig (cf. [L2, 8.2]) a démontré le théorème suivant :

6.1. Les caractères unipotents de R(Sp_{2m}(q))_{λ_{k}} sont en bijection avec les symboles de rang m et de défaut 2k + 1, et ceux de R(SO_{2m}^{±}(q))_{λ_{k}} avec les symboles de rang m et de défaut 2k, à l’exception près qu’un symbole de la forme (S, S) paramètre deux caractères de la série principale de SO_{2m}^{+}(q) conjugués par O_{2m}^{+}(q) (tous les autres caractères unipotents de SO_{2m}^{±}(q) sont invariants sous l’action du groupe orthogonal).

Il résulte immédiatement du théorème ci-dessus que les caractères unipotents de O_{2m}^{±}(q) sont paramétrés par des symboles ordonnés avec mêmes conditions de rang et de défaut. Le paramétrage pour O et Sp a la propriété que, si ρ_{Λ} ∈ R(G_{m}) est un caractère unipotent paramétré par le symbole Λ = (S, T) de la série de Harish-Chandra (RG)_{λ}, l’élément correspondant de RB est paramétré par le couple de partitions dont S et T sont les ensembles de β-nombres.

Les fonctions unipotentes uniformes admettent une base formée des caractères fantômes, paramétrés par une base des fonctions de F -classe sur le groupe de Weyl W_{G} (cf. §1.D). Pour un groupe déployé, une telle base est donnée par Irr(W_{G}). Pour G = Sp_{2m}, les caractères de W_{G} = W (B_{m}) sont en bijection avec les symboles de rang m et de défaut 1, et pour G = SO_{2m}^{+}, les caractères de W_{G} = W (D_{m}) sont en bijection avec les symboles de rang m et de défaut 0, à l’exception près qu’un symbole de la forme (S, S) paramètre deux caractères de W (D_{m}) conjugués sous W (B_{m}). Les caractères fantômes de SO_{2m}^{−}(q) sont paramétrés par les restrictions à W (D_{m}).σ des caractères de W (B_{m}). Ces fonctions ne sont pas linéairement indépendantes (deux caractères de même restriction donnent des fonctions opposées). Dans l’espace vectoriel qu’elles engendrent, elles sont paramétrées par des vecteurs e_{(S,T)} où (S, T) est un symbole ordonné de défaut 0 avec S ≠ T, et où e_{(S,T)} = −e_{(T,S)}. Nous noterons R_{Λ} le caractère fantôme paramétré par un symbole Λ comme ci-dessus. Nous devons décrire les produits scalaires ⟨ R_{Λ}, ρ_{Λ′} ⟩.

Si Λ = (S, T) est un symbole (supposé réduit), on note X(Λ) = S ∩ T, Y (Λ) = {y_{0}, y_{1}, …} la différence symétrique de S et T, rangée en ordre croissant, et on note P (Λ) = {y_{1}, y_{3}, …} les éléments d’indice impair de Y. Enfin on note M^{♯}(Λ) la différence symétrique de T − Y (Λ) et P (Λ). Lusztig (cf. [L4, 4.23]) a démontré :

⟨ R_{Λ}, ρ_{Λ′} ⟩ = \{ \begin{matrix}0 & si X(Λ) ≠ X(Λ′) ou Y (Λ) ≠ Y (Λ′) \\ 2^{−[(|Y (Λ)|−1)/2]}(−1)^{|M^{♯}(Λ)∩M^{♯}(Λ′)|} & sinon. \end{matrix}

Le programme en GAP utilise cette formule pour exprimer ω_{m,m′,1}^{♯} dans la base ρ_{Λ} des caractères unipotents.

Références

[AM] J. Adams et A. Moy Unipotent Representations and Reductive Dual Pairs over Finite

Fields, Transactions of the A.M.S., 340, Number 1, 309–321, (1993).

[A] A.-M. Aubert Description de la correspondance de Howe en termes de classification de

Kazhdan-Lusztig, Inventiones math., 103, 379–415, (1991).

[C] R. Carter Finite groups of Lie type : conjugacy classes and complex characters, New-York

(1985).

[DM1] F. Digne et J. Michel Fonctions L des variétés de Deligne-Lusztig et descente de Shin-

tani, Mémoires de la S.M.F. 20, (1985).

[DM2] —— Foncteurs de Lusztig et caractères des groupes linéaires et unitaires sur un corps fini,

J. of Algebra 107, No 1, (1987).

[DM3] —— Representations of finite groups of Lie type, Cambridge University Press 1991.

[DM4] —— Groupes réductifs non connexes, Ann. scient. Éc. Norm. Sup., 4^{e} série, t. 27, 345–406,

(1994).

[FS] P. Fong et B. Srinivasan Brauer Trees in Classical Groups, J. of Algebra, 131, 179–225,

(1990).

[G] P. Gérardin Weil representations associated to finite fields, J. of Algebra. 46, 54–101

(1977).

[H1] R. Howe On the character of Weil’s representation, Transactions of A.M.S., 177, March

1973.

[H2] —— Invariant theory and duality for classical groups over finite fields with applications

to their singular representation theory, Preprint, Yale University.

[H3] —— θ–series and invariant theory, Automorphic Forms, Representations and L–functions Part 1, Proceedings of Symposia in Pure Math. A.M.S., XXXIII, 315–322 (1979).

[H4] —— Another look at the local θ–correspondence for an unramified dual pair, Festschrift

in honor of I.I. Piatetski-Shapiro, Israel Math. Conf. Proc. The Weizmann Science Press of Israel 2, 93–124 (1990).

[HL] R.B. Howlett et G.I. Lehrer Induced Cuspidal Representations and Generalized Hecke

Rings, Inventiones math, 58, 37–64, (1980).

[K]  S. Kudla On the local theta correspondence, Inventiones math., 83, 229–255, 1986.

[L1] G. Lusztig Coxeter orbits and eigenspaces of Frobenius, Inventiones math, 38, 101–159,

(1976).

[L2] —— Irreducible representations of finite classical groups, Inventiones math. 43, 125–175

(1977).

[L3]  —— Representations of finite Chevalley groups, AMS CBMS 39 (1977).

[L4] —— Characters of reductive groups over a finite field, Annals of Math. Studies, Princeton

(1984).

[MVW] C. Mœglin, M.-F. Vignéras et J.-L. Waldspurger Correspondances de Howe sur un

corps p-adique, Springer Verlag, L.N.1291 Berlin, Heidelberg, (1987).

[Sc] M. Schönert et al. GAP 3.2 – Groups, algorithms and programming, Lehrstuhl D für

Mathematik RWTH Aix-la-Chapelle, (1993).

[Sr] B. Srinivasan Weil Representations of Finite Classical Groups, Inventiones math. 51,

143–153 (1979).

[W] J.-L. Waldspurger Démonstration d’une conjecture de Howe dans le cas p-adique, p ≠ 2,

Festschrift in honor of I.I. Piatetski-Shapiro, Israel Math. Conf. Proc. The Weizmann Science Press of Israel 2, 267–324 (1990).

[Z] A. Zelevinsky Representations of Finite Classical Groups, Lecture Notes in Math. 869,

Springer (1981).

Aubert : L.M.E.N.S.–D.M.I. (U.R.A. 762 et G.D.R. 1179 du C.N.R.S.), École Normale Supérieure, 45 Rue d’Ulm, F–75005 Paris, France; aubert@dmi.ens.fr

Michel : U.F.R. de Mathématiques de l’Université Paris 7 Denis-Diderot et U.M.R. 9994 du CNRS, 2 place Jussieu, F–75251 Paris Cedex 05, France; jmichel@mathp7.jussieu.fr

Rouquier : U.F.R. de Mathématiques de l’Université Paris 7 Denis-Diderot et U.M.R. 9994 du CNRS, 2 place Jussieu, F–75251 Paris Cedex 05, France; rouquier@mathp7.jussieu.fr