Hola,
te comento que el HDMI de la PS3 saca audio (creo) y todavía mejor que el óptico (no en calidad, sino en el hecho que si ves un blu-ray desde la PS3, soportará DTS-HD Y Dolby True HD).
Es decir, todo es correcto, pero nada de óptico.
En cuanto a lo de la TV, suelen tener un capon que sale fácilmente al tirar, pero no sé... tal vez tengas que desenroscarlo un poco.
Conclusión: Conecta la PS3 con un HDMI al receptor, y del receptor con otro HDMI a la TV (te dicen por ahí que la entrada 2, pues ponla en la 2). Esto saca el vídeo y el audio de la PS3, así que olvídate del cable óptico (el HDMI ofrece la misma calidad, bitstream; es decir, un flujo de datos, pero además es más versátil al poder ofrecer decodificación al AVR de nuevos códecs que el óptico no puede transportar).
Para sacar audio de la TV al óptico,
Digitalmente (si tu TV dispone de salidas óptica o coaxial)
busca un óptico/coaxial OUT en la TV y conéctalo a un óptico/coaxial IN en el AVR.
Analógico (a las malas)
A malas, puede haber salidas analógicas RCA (no obtendrás la misma calidad de sonido, pero si no nos queda otra...) o incluso, si no hay ninguna de éstas, la salida de la TV de los auriculares (minijack) al AVR en forma de minijack o RCA, como lo prefieras. Luego, si has conectado el óptico o coaxial en la entrada AV3 del receptor, por poner un ejemplo, pues cuando quieras escuchar la TV a través del AVR, pones el AVR en el AV3.