Branching Laws for Stein’s Complementary Series and Speh Representations of $$\textrm{GL}(2n,\mathbb {R})$$

Abstract

<jats:p> We obtain the explicit direct integral decomposition of Stein’s complementary series representations and Speh representations of <jats:inline-formula> <jats:alternatives> <jats:tex-math>$${{\,\textrm{GL}\,}}(2n,\mathbb {R})$$</jats:tex-math> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mrow> <mml:mspace/> <mml:mtext>GL</mml:mtext> <mml:mspace/> </mml:mrow> <mml:mo>(</mml:mo> <mml:mn>2</mml:mn> <mml:mi>n</mml:mi> <mml:mo>,</mml:mo> <mml:mi>R</mml:mi> <mml:mo>)</mml:mo> </mml:mrow> </mml:math> </jats:alternatives> </jats:inline-formula> when restricted to the subgroup <jats:inline-formula> <jats:alternatives> <jats:tex-math>$${{\,\textrm{GL}\,}}(2n-1,\mathbb {R})$$</jats:tex-math> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mrow> <mml:mspace/> <mml:mtext>GL</mml:mtext> <mml:mspace/> </mml:mrow> <mml:mo>(</mml:mo> <mml:mn>2</mml:mn> <mml:mi>n</mml:mi> <mml:mo>-</mml:mo> <mml:mn>1</mml:mn> <mml:mo>,</mml:mo> <mml:mi>R</mml:mi> <mml:mo>)</mml:mo> </mml:mrow> </mml:math> </jats:alternatives> </jats:inline-formula> . The decomposition is a direct integral of unitarily induced representations from a maximal parabolic subgroup of <jats:inline-formula> <jats:alternatives> <jats:tex-math>$${{\,\textrm{GL}\,}}(2n-1,\mathbb {R})$$</jats:tex-math> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mrow> <mml:mspace/> <mml:mtext>GL</mml:mtext> <mml:mspace/> </mml:mrow> <mml:mo>(</mml:mo> <mml:mn>2</mml:mn> <mml:mi>n</mml:mi> <mml:mo>-</mml:mo> <mml:mn>1</mml:mn> <mml:mo>,</mml:mo> <mml:mi>R</mml:mi> <mml:mo>)</mml:mo> </mml:mrow> </mml:math> </jats:alternatives> </jats:inline-formula> with Levi factor <jats:inline-formula> <jats:alternatives> <jats:tex-math>$${{\,\textrm{GL}\,}}(2n-2,\mathbb {R})\times {{\,\textrm{GL}\,}}(1,\mathbb {R})$$</jats:tex-math> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mrow> <mml:mspace/> <mml:mtext>GL</mml:mtext> <mml:mspace/> </mml:mrow> <mml:mo>(</mml:mo> <mml:mn>2</mml:mn> <mml:mi>n</mml:mi> <mml:mo>-</mml:mo> <mml:mn>2</mml:mn> <mml:mo>,</mml:mo> <mml:mi>R</mml:mi> <mml:mo>)</mml:mo> <mml:mo>×</mml:mo> <mml:mrow> <mml:mspace/> <mml:mtext>GL</mml:mtext> <mml:mspace/> </mml:mrow> <mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>,</mml:mo> <mml:mi>R</mml:mi> <mml:mo>)</mml:mo> </mml:mrow> </mml:math> </jats:alternatives> </jats:inline-formula> , where the induction data consists of a complementary series or Speh representation of the factor <jats:inline-formula> <jats:alternatives> <jats:tex-math>$${{\,\textrm{GL}\,}}(2n-2,\mathbb {R})$$</jats:tex-math> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mrow> <mml:mspace/> <mml:mtext>GL</mml:mtext> <mml:mspace/> </mml:mrow> <mml:mo>(</mml:mo> <mml:mn>2</mml:mn> <mml:mi>n</mml:mi> <mml:mo>-</mml:mo> <mml:mn>2</mml:mn> <mml:mo>,</mml:mo> <mml:mi>R</mml:mi> <mml:mo>)</mml:mo> </mml:mrow> </mml:math> </jats:alternatives> </jats:inline-formula> with the same parameter as the one of <jats:inline-formula> <jats:alternatives> <jats:tex-math>$${{\,\textrm{GL}\,}}(2n,\mathbb {R})$$</jats:tex-math> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mrow> <mml:mspace/> <mml:mtext>GL</mml:mtext> <mml:mspace/> </mml:mrow> <mml:mo>(</mml:mo> <mml:mn>2</mml:mn> <mml:mi>n</mml:mi> <mml:mo>,</mml:mo> <mml:mi>R</mml:mi> <mml:mo>)</mml:mo> </mml:mrow> </mml:math> </jats:alternatives> </jats:inline-formula> and a character of <jats:inline-formula> <jats:alternatives> <jats:tex-math>$${{\,\textrm{GL}\,}}(1,\mathbb {R})$$</jats:tex-math> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mrow> <mml:mspace/> <mml:mtext>GL</mml:mtext> <mml:mspace/> </mml:mrow> <mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mo>,</mml:mo> <mml:mi>R</mml:mi> <mml:mo>)</mml:mo> </mml:mrow> </mml:math> </jats:alternatives> </jats:inline-formula> . These results are in line with the theory of adduced representations. The main tools in the proof are two families of symmetry breaking operators between degenerate series representations of <jats:inline-formula> <jats:alternatives> <jats:tex-math>$${{\,\textrm{GL}\,}}(2n,\mathbb {R})$$</jats:tex-math> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mrow> <mml:mspace/> <mml:mtext>GL</mml:mtext> <mml:mspace/> </mml:mrow> <mml:mo>(</mml:mo> <mml:mn>2</mml:mn> <mml:mi>n</mml:mi> <mml:mo>,</mml:mo> <mml:mi>R</mml:mi> <mml:mo>)</mml:mo> </mml:mrow> </mml:math> </jats:alternatives> </jats:inline-formula> and <jats:inline-formula> <jats:alternatives> <jats:tex-math>$${{\,\textrm{GL}\,}}(2n-1,\mathbb {R})$$</jats:tex-math> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mrow> <mml:mspace/> <mml:mtext>GL</mml:mtext> <mml:mspace/> </mml:mrow> <mml:mo>(