C'est un problème bien connu de la communeauté des olympiques.

C'est le fameux problème n° 6 des 29ème olympiades internanationales des mathématiques qui s'est tenu à Canberra en Australie.

Soit $~(a,b)~$ des entiers strictement positifs avec: $~a>b~$ tels que: $$\dfrac{a^2+b^2}{1+ab}=q ~~(1)$$ ou $~q~$ est un entier strictement positif.
Cette équation peut-être écrite comme suit: $$a^2+b^2=q+qab$$ Reécrivons cette équation de façons qu'elle apparaisse comme un équation quadratique en $~a~$ ($b~$ fixé): $$a^2-(qb)a+(b^2-q)=0$$

On verra que dans certaine conditions, que l'on peut construire une autre couple $~(b,c)~$ avec $~b>c~$ qui vérifie (1) pour le même $~q~$ c'est à dire: $$\dfrac{a^2+b^2}{1+ab}=\dfrac{b^2+c^2}{1+bc}=q ~~(1)$$ Pour éviter cette situation on prendra le couple $~(a,b)~$ qui réalise le minimum de $~(a^2+b^2)$.

Dans la suite on suppose que l'hypothèse ci dessous est remplie:

Soit $~(a,b)~$ un tel couple, alors $~a~$ est solution de la quadratique: $$x^2-(qb)x+(b^2-q)=0$$ Cette equation admet une autre solution $~c~$ tel que: \begin{cases}a+c=qb\\\\ac=(b^2-q)\end{cases} (d'après les formules de viète.) La première équation a+c=qb montre que $c$ est aussi un entier.
La deuxième équation: $$ac=(b^2-q) $$ montre que $~~c\lt b$.
En effet: $$ac=b^2-q \lt b^2$$ Ce qui montre clairement que $~~c\lt b~~$ puisque par hypothèse on $~~a>b$. Et donc on a: $$\dfrac{a^2+b^2}{1+ab}=\dfrac{b^2+c^2}{1+bc}=q$$ Et l'on a: $$a^2+b^2\lt b^2+c^2$$ Contradiction avec la condition du minimum imposé sur $~~a^2+b^2$
Ceci implique que $c$ est nul (car c ne peut-être négatif puisque, dans ce cas $~q=\frac{b^2+c^2}{1+bc}~$ serait négatif.)
Par conséquent: $$ac=b^2-q=0$$ Ce qui prouve: $$q=b^2=\dfrac{a^2+b^2}{1+ab}$$ qui est bien un carré parfait.