Đặt \(x^{3}-8x=y^{3}+2y\) (1)
\(x^{2}-3=3(y^{2}+1)\) (2)
Từ (2), ta có: \(x^{2}-8=3y^{2}-2\) (3)
Thay (3) vào (1), ta được: \(x(3y^{2}-2)=y^{3}+2y\)
\(\Rightarrow x=\frac{y^{3}+2y}{3y^{2}-2}\) (4)
Thay (4) vào (2), ta được: \((\frac{y^{3}+2y}{3y^{2}-2})^{2}-3=3(y^{2}+1)\)
\(\Leftrightarrow \frac{y^{6}+4y^{4}+4y^{2}}{9y^{4}-12y^{2}+4}=3y^{2}+6\)
\(\Leftrightarrow 13y^{6}+7y^{4}-32y^{2}+12=0\) (5)
Đặt \(A=y^{2}, A\geq 0\)
(5) \(\Leftrightarrow 13A^{3}+7A^{2}-32A+12=0\)
Giải phương trình bậc 3: \(\begin{align*} A &=1 \\ A &= -2\\ A &= \frac{6}{13} \end{align*}\), (loại A = -2, vì \(A\geq 0\))
\(\Rightarrow \begin{align*} y &=\pm 1 \\ y &= \pm \sqrt{\frac{6}{13}} \end{align*} \)
Thay y vào (4), ta được các nghiệm (x,y) như sau:
\((3;1), (-3;-1),(-4\sqrt{\frac{6}{13}};\sqrt{\frac{6}{13}}),(4\sqrt{\frac{6}{13}};-\sqrt{\frac{6}{13}})\)