Jhonatan, você tem certeza de que a equação é está mesmo?
Porque se você substituir [tex3]x[/tex3]
por [tex3]\frac\pi3[/tex3]
, que é a resposta esperada, temos:
[tex3]2\cos\frac\pi3-\cos^2\frac\pi3+\sen^2\frac\pi3=\\2\cdot\frac12-\frac14+\frac34=1+\frac12=\frac32[/tex3]
Eu também encontrei [tex3]\cos x=\frac{1-\sqrt3}2[/tex3]
pois [tex3]\frac{1+\sqrt3}2>1[/tex3]
então não convém.
Espero ter ajudado
Saudações.