Acredito que essa questão não esteja correta! (ou eu errei mesmo)
Podemos escrever [tex3](a^2+b^2)^2 = a^4+b^4+2(ab)^2 \implies (a^2+b^2)^2 = 256+8 = 264 \implies a^2+b^2 = \sqrt{264}[/tex3]
Ainda:
[tex3](a-b)^2 = a^2+b^2 - 2ab \implies (a-b)^2 = \sqrt{264} - 4 = 2\sqrt{66} - 4[/tex3]
Se [tex3]\sqrt{66} \approx 8[/tex3]
, então
[tex3](a-b)^2 \approx 16 - 4 = 12 \implies a-b = \sqrt{12}[/tex3]
, o que não condiz com o gabarito. Aliás, com nenhuma alternativa!