Conceito: entre retângulos de perímetro fixo, a maior área ocorre quando os lados são iguais.
O perímetro 20 fornece 2a+2b=20, logo b=10-a. A área é A=a(10-a)=-a^2+10a, cujo máximo ocorre em a=5.
Assim, o retângulo é um quadrado de lado 5 dm. Pelo teorema de Pitágoras, a diagonal é d=5\sqrt2\approx5\cdot1,4=7 dm.
Resposta: alternativa B.