• Le système étant parfaitement symétrique par rapport aux variables $a$ et $b$, et le cas $a=b$ étant impossible (car $2a^2 = 801$ n'a pas de solution dans $\mathbb{N}$), on peut supposer $a > b$ pour simplifier la résolution, puis déduire la seconde solution par symétrie.

    • Les restes possibles du carré d'un entier modulo $3$ sont $0$ ou $1$.
    • La seule combinaison dont la somme est congruente à $0$ modulo $3$ est $0+0$.
    • On a donc l'équivalence : \[ x^2+y^2 \equiv 0 \pmod 3 \Longleftrightarrow x \equiv 0 \pmod 3 \text{ et } y \equiv 0 \pmod 3 \]
    • On remarque que $801 = 3 \times 267$, ce qui donne $a^2+b^2 \equiv 0 \pmod 3$.
    • Par application de l'équivalence précédente : \[ a \equiv 0 \pmod 3 \quad \text{et} \quad b \equiv 0 \pmod 3 \]
    • Soit $\delta = a \land b$. Puisque $3$ divise $a$ et $b$, $3$ divise $\delta$. On a donc $\delta \geq 3$.
    • De plus, $\delta^2$ divise $a^2+b^2 = 801$. La décomposition donne $801 = 9 \times 89$ (avec $89$ premier).
    • Le seul diviseur de $801$ qui soit un carré parfait supérieur ou égal à $9$ est $9$.
    • On obtient $\delta^2 = 9$, ce qui implique $\delta = 3$.
    • Il existe $a', b' \in \mathbb{N}$ premiers entre eux tels que $a = 3a'$ et $b = 3b'$, avec $a' > b'$.
    • La relation $\text{ppcm}(a,b) \times (a \land b) = ab$ donne $120 \times 3 = 9a'b'$, d'où $a'b' = 40$.
    • En injectant dans l'équation initiale, $9(a'^2+b'^2) = 801$, soit $a'^2+b'^2 = 89$.
    • On forme les identités remarquables : \[ (a'-b')^2 = a'^2+b'^2 - 2a'b' = 89 - 80 = 9 \implies a'-b' = 3 \quad (\text{car } a'>b') \] \[ (a'+b')^2 = a'^2+b'^2 + 2a'b' = 89 + 80 = 169 \implies a'+b' = 13 \quad (\text{car } a',b' \in \mathbb{N}) \]

    • On résout le système linéaire obtenu : \[ \begin{cases} a'+b' = 13 \\ a'-b' = 3 \end{cases} \]
    • En additionnant et soustrayant les deux lignes, on trouve $2a' = 16 \implies a' = 8$ et $2b' = 10 \implies b' = 5$.
    • On en déduit $a = 3 \times 8 = 24$ et $b = 3 \times 5 = 15$.
    • En levant la supposition $a>b$ par symétrie, l'ensemble des solutions dans $\mathbb{N}^2$ est : \[ S = \{ (24, 15), (15, 24) \} \]