↑ laszky:
Elegantní řešení. Já jsem použil substituce, reálnou analýzou a několik limit. Řešení mám ale delší.
HINT:
Skrytý text:Integrál jsem vytvořil ve volné chvíli manipulací s univerzální goniometrickou substitucí

.
ŘEŠENÍ:Skrytý text:![kopírovat do textarea $
I=\int_0^{\infty}\arccos^2\left(\frac{1-6x^2+x^4}{(1+x^2)^2}\right)\,\mathrm dx
&=\int_0^{\infty}\arccos^2\left(\frac{1-2x^2+x^4}{(1+x^2)^2}-\frac{4x^2}{(1+x^2)^2}\right)\,\mathrm dx\\[.5\baselineskip]
&=\int_0^{\infty}\arccos^2\left(\left(\frac{1-x^2}{1+x^2}\right)^2-\left(\frac{2x}{1+x^2}\right)^2\right)\,\mathrm dx
$](/mathtex/77/7704bcfc7959ca6c3fa7f50ade6af97b.gif)
Položme substituci

. Pak zřejmě

Integrál zjednudušíme:
![kopírovat do textarea $
\int_0^{\infty}\arccos^2\left(\left(\frac{1-x^2}{1+x^2}\right)^2-\left(\frac{2x}{1+x^2}\right)^2\right)\,\mathrm dx
&=\int_0^{\frac{\pi}2}\arccos^2\left(\cos^2(2y)-\sin^2(2y)\right)\cdot\frac 1{\cos^2y}\,\mathrm dy\\[.5\baselineskip]
&=\int_0^{\frac{\pi}2}\arccos^2\left(\cos(4y)\right)\cdot\frac 1{\cos^2y}\,\mathrm dy
$](/mathtex/e6/e634784fa74ba59d0e02b417aa6d8cb4.gif)
Navzájem inverzní funkce složíme takto:

Integrál rozdělíme na dva:
![kopírovat do textarea $
\int_0^{\frac{\pi}2}\arccos^2\left(\cos(4y)\right)\cdot\frac 1{\cos^2y}\,\mathrm dy
&=\int_0^{\frac{\pi}4}16y^2\cdot\frac 1{\cos^2y}\,\mathrm dy+\int_{\frac{\pi}4}^{\frac{\pi}2}(2\pi-4y)^2\cdot\frac 1{\cos^2y}\,\mathrm dy\\[.5\baselineskip]
&=\int_0^{\frac{\pi}4}16y^2\cdot\frac 1{\cos^2y}\,\mathrm dy+\int_{\frac{\pi}4}^{\frac{\pi}2}(4\pi^2-16\pi y+16y^2)\cdot\frac 1{\cos^2y}\,\mathrm dy\\[.5\baselineskip]
&=\lim_{t\to\frac{\pi}2^-}\biggl(4\pi^2\underbrace{\int_{\frac{\pi}4}^t\frac 1{\cos^2}\,\mathrm dy}_{I_1}-16\pi\underbrace{\int_{\frac{\pi}4}^t \frac y{\cos^2 y}\,\mathrm dy}_{I_2}+16\underbrace{\int_0^t \frac{y^2}{\cos^2y}\,\mathrm dy}_{I_3}\biggr).
$](/mathtex/fa/fa287b7207f900b79f41936988a3cfd7.gif)
Integrály

,

,

řešíme přímo nebo metodou per partes:
![kopírovat do textarea $
I_1&=\int_{\frac{\pi}4}^t\frac 1{\cos^2}\,\mathrm dy=\left[\tan y\right]_{\frac{\pi}4}^t=\tan t-1,\\[.5\baselineskip]
I_2&=\int_{\frac{\pi}4}^t\frac y{\cos^2}\,\mathrm dy=\left[y\tan y+\log\cos y\right]_{\frac{\pi}4}^t=t\tan t+\log\cos t-\frac{\pi}{4}+\frac 12\,\log 2,\\[.5\baselineskip]
I_3&=\int_{\frac{\pi}4}^t\frac {y^2}{\cos^2}\,\mathrm dy=\left[y^2\tan y+2y\log\cos y\right]_0^t-2\int_0^t\log\cos y\,\mathrm dy=t^2\tan t+2t\log\cos t-2\int_0^t\log\cos y\,\mathrm dy.
$](/mathtex/42/429270cf083556e0a06cbf453b121ddb.gif)
Pro poslední integrál platí známá identita:

Určíme původní integrál:
![kopírovat do textarea $
I&=\lim_{t\to\frac{\pi}2^-}(4\pi^2I_1-16\pi I_2+16I_3)\\[.5\baselineskip]
&=\lim_{t\to\frac{\pi}2^-}\left(4\pi^2(\tan t-1)-16\pi\left(t\tan t+\log\cos t-\frac{\pi}{4}+\frac 12\,\log 2\right)+16\left(t^2\tan t+2t\log\cos t-2\int_0^t\log\cos y\,\mathrm dy\right)\right)\\[.5\baselineskip]
&=\lim_{t\to\frac{\pi}2^-}\left((4\pi^2-16\pi t+16t^2)\tan t+(32t-16\pi)\log\cos t\right)-8\pi\log 2-32\int_0^{\frac{\pi}2}\log\cos y\,\mathrm dy\\[.5\baselineskip]
&=\lim_{t\to\frac{\pi}2^-}\left((4\pi^2-16\pi t+16t^2)\tan t+(32t-16\pi)\log\cos t\right)+8\pi\log 2
$](/mathtex/b6/b6971657e4ea608bd0a8168497ae7dba.gif)
Limity určíme např. užitím l'Hospitalova pravidla. Pak platí

Dostáváme tedy

↑ Marian:Myslím, že některé postupy se používají i zde.