Principio de funcionamiento, pros y contras del sistema de enfoque automático basado en sensores Dual Pixel.
Sistemas PDAF en el sensor de imagen
Para entender mejor este artículo te recomiendo que leas previamente:
- Enfoque y profundidad de campo
- Funcionamiento de una lente simple (modelar un objetivo fotográfico)
- Cómo funciona el enfoque automático en las cámaras
- Cómo funciona el sistema de enfoque por detección de fase (PDAF) en cámaras réflex
- Enfoque por detección de fase integrado en el sensor (PDAF / enfoque híbrido)
Resumen rápido:
- El enfoque por detección de fase funciona comparando las imágenes correspondientes a dos puntos de vista diferentes de la escena (similar a como funciona la visión binocular humana)
- Las cámaras (objetivo + sensor de imagen) sólo ven un único punto de vista de la escena
- Para conseguir dos puntos de vista hay que hacer algún truco
PDAF en cámaras réflex
En las cámaras réflex se utiliza un módulo de enfoque independiente (independiente del sensor de imagen) que utiliza máscaras con agujeros para separar la imagen proyectada por el objetivo en pares de imágenes.
Cada una de esas imágenes tiene más contribución de la parte izquierda o derecha de la escena (o arriba – abajo, dependiendo de la orientación de la máscara).
Cada pareja de imágenes pasa a una pareja de sensores especializados (normalmente sensores CCD de una dimensión, una fila de celdas fotosensibles).
La señal generada por los sensores (que incluye información espacial, en una dimensión) se analiza para determinar su desfase relativo.
A partir del desfase (si es positivo o negativo) se puede saber de forma inmediata la dirección hacia la que se tiene que mover el enfoque del objetivo, y también se puede estimar cuánto se tiene que mover.
Ventajas: rapidez de enfoque
Desventajas: complejidad mecánica, complejidad óptica, necesita un ajuste muy fino (mecánico – óptico) para funcione correctamente, no funciona si no se utiliza el visor óptico (p.e. modo Live View), no funciona en vídeo…
PDAF integrado en el sensor de imagen (enfoque híbrido)
Todos los sistemas PDAF integrados en el sensor de imagen se basan en el mismo principio y necesitan:
- Que el sensor incluya microlentes
Cada microlente concentra la luz proyectada por el objetivo en la parte ‘central’ de la celda, en el material fotosensible, para aumentar la eficiencia de conversión (más sensibilidad, mejor relación señal a ruido)
Como efecto secundario: cada microlente permite transmitir cierta información sobre la dirección de entrada de la luz (izquierda-derecha, arriba-abajo, etc.) - Que debajo de esa microlente haya algún mecanismo de discriminación
Por ejemplo, se puede crear una máscara que cubra la mitad derecha de algunas celdas y la mitad derecha de otras celdas.
O se puede colocar una microlente doble, que cubre dos celdas del sensor (una sería la que discrimina la mitad izquierda y otra la mitad derecha)
… otras técnicas como Dual Pixel, Quad Pixel, etc.
Los sistemas de enfoque híbridos tradicionales incluyen esas celdas especiales (con máscara o parejas que comparten una única microlente), que llamaremos celdas AF, distribuidas de forma homogénea entre las celdas normales del sensor.
Para una determinada zona de enfoque, el procesador compara la imagen generada por un grupo de celdas AF izquierdas con la imagen generada por un grupo de celdas AF derechas.
Cada una de esas imágenes ofrece un punto de vista ligeramente diferente (como cuando guiñamos un ojo y luego otro)
Comparando las dos imágenes con algoritmos de análisis de imagen se puede calcular el desfase relativo.
El signo del desfase (positivo / negativo) determina hacia dónde se tiene que mover el enfoque, y también permite estimar cuánto se tiene que mover.
Ventajas: sencillez mecánica, no necesita ajuste fino, se basa en sensores tradicionales (no añade mucha complejidad de diseño/fabricación), funciona en cualquier situación de fotografía y vídeo…
Desventajas: las celdas AF no contribuyen a la creación de la imagen, hay que mantener una densidad de celdas AF relativamente baja, la densidad de celdas AF determina la resolución espacial del sistema y puede afectar a su rendimiento, necesita más recursos del procesador (análisis de imagen, etc.)
Sistema de enfoque Dual Pixel
El sistema Dual Pixel es una variante de los sistemas PDAF híbridos que hemos comentado en el apartado anterior.
Es el que utiliza Canon en muchos de sus sensores.
También muchos móviles suelen usar sensores con tecnología Dual Pixel.
El principio de funcionamiento es básicamente el mismo que hemos estado viendo para los sensores con enfoque ‘híbrido’.
Pero en lugar de usar algunas celdas AF, el sistema Dual Pixel se basa en sensores en los que cada una de las celdas está dividida en realidad en dos celdas independientes.
Ten en cuenta que lo importante está en que esas dos subceldas tienen que compartir la misma microlente.
Como comenté al principio, la clave de todos estos sistemas está en el efecto de la microlente, que puede transmitir cierta información sobre la dirección desde la que llega la luz.
Para cada celda, la subcelda de la izquierda (representada como 1-a en la figura) recibe sobre todo la contribución de la luz que llega desde la parte izquierda del objetivo.
La subcelda de la derecha (subcelda 1-b) recibe sobre todo la contribución de la parte derecha del objetivo.
Detección de fase
Para una determinada zona de enfoque (por ejemplo cuando elegimos un punto de enfoque en la cámara), el procesador usa la imagen generada por las subceldas izquierda y la compara con la imagen generada por las subceldas derecha de esa zona.
En la figura anterior he representado cómo se verían las imágenes izquierda y derecha de un elemento vertical de la escena (p.e. una raya vertical de color negro) que aparece desenfocado.
La diferencia entre las dos imágenes es mínima a simple vista, pero los algoritmos de análisis sí pueden cuantificar el desfase relativo.
Debajo de cada imagen he representado cómo vería el procesador el desfase si se analizara una única dimensión (p.e. una fila de cada imagen) como ocurría con los sensores CCD del sistema de enfoque de las cámaras réflex.
Vemos por ejemplo que de izquierda a derecha pasamos del blanco puro (niveles altos) al negro casi puro (valores bajos) con una zona de transición debida al desenfoque.
Esto es simplemente para que nos ayude a entender el funcionamiento básico.
En el sistema real el procesador analiza las dos imágenes (una matriz en dos dimensiones)
En este ejemplo, el resultado sería el mismo básicamente, porque el elemento de la escena está colocado perfectamente en vertical con respecto al encuadre. En una escena normal la textura del objeto tendrá ‘bordes’ o líneas con una orientación arbitraria.
El sistema (normalmente el procesador de la cámara) calcula la correlación entre las imágenes o utilizará algún método similar para estimar el desfase espacial de las dos versiones de la escena.
La magia o la gracia de estos sistemas PDAF es que según el desfase sea positivo o negativo se puede saber exactamente hacia qué dirección hay que mover el enfoque.
Y también se podría estimar si el enfoque está muy alejado de la posición correcta (para gestionar de forma más eficiente la velocidad del motor de enfoque del objetivo)
Mayor resolución espacial en Dual Pixel
La tecnología Dual Pixel resuelve una de las limitaciones de los sistemas ‘híbridos’: la resolución con la que trabaja el sistema de enfoque es máxima, corresponde precisamente con la resolución del propio sensor de imagen.
En otros sistemas híbridos la resolución efectiva con la que trabaja el sistema de enfoque sería de alrededor de un 5% de la resolución total del sensor de imagen (depende de la densidad de celdas AF).
Sobre el papel, los sistemas Dual Pixel tendrían ventaja a la hora de detectar patrones de la escena (textura) con mayor frecuencia espacial.
Y también tendrían mayor precisión para determinar cuándo se ‘clava’ el enfoque (detectar el desfase cero).
En la práctica no es tan sencillo, intervienen muchos más factores y la precisión del sistema PDAF por sí mismo no llegaría a clavar el enfoque en muchas situaciones.
Hay que tener en cuenta que en los sistemas PDAF integrados en el sensor, la distancia efectiva entre los dos puntos de vista es muy pequeña (lo que sería la separación de los agujeros en una máscara de enfoque tradicional). Es muy difícil determinar con precisión cuándo el desfase es nulo sin lugar a dudas.
Sobre el sistema PDAF actúa normalmente el sistema de enfoque por detección de contraste (CDAF), que termina de hacer el ajuste fino del enfoque.
La combinación de los dos sistemas (PDAF + detección por contraste) permite obtener lo mejor de las dos técnicas: la velocidad de PDAF y la precisión de la detección por contraste, eliminando efectos no deseados de la detección por contraste, como el focus hunting.
Formación de la imagen en sensores Dual Pixel
En un sensor Dual Pixel no se desperdician celdas.
Ésta creo que sería la principal ventaja.
Para formar la imagen final (la que corresponde a la foto o al fotograma del vídeo) se utiliza la información combinada de las dos subceldas de cada celda.
La pérdida de rendimiento es mínima (con respecto a una celda estándar, sin subceldas).
Y además se minimizan efectos no deseados, como los patrones de ruido, FPN (Fixed Pattern Noise), que suelen aparecer en los sensores debido a la distribución de las celdas AF especializadas.
Ventajas del sistema Dual Pixel
Dual Pixel comparte las ventajas de los sistemas PDAF integrados en el sensor de imagen:
- Elimina la complejidad mecánica y el ajuste fino de los sistemas PDAF que utilizan las réflex
- Funciona en cualquier situación: foto, vídeo…
- Velocidad de enfoque: es un sistema mucho más rápido que el enfoque por contraste
- Se pueden combinar varias capas con diferentes técnicas y algoritmos: sobre PDAF opera el enfoque por contraste, y sobre estas capas operan los algoritmos de reconocimiento de imágenes, seguimiento, etc.
- La cobertura del encuadre es bastante grande, por encima del 80% del encuadre (en las réflex está más limitada a la zona central) y ofrece una granularidad mucho mayor: una matriz más densa de zonas de enfoque, posibilidad de elegir zonas con diferentes formas y funcionalidades, etc.
El sistema Dual Pixel tiene varias ventajas con respecto a los sistemas híbridos (celdas AF especializadas distribuidas por el sensor):
- Mayor resolución espacial, ya que usa toda la resolución del sensor
- Mayor precisión, aunque la precisión va a depender más de la coordinación entre PDAF y detección por contraste.
- El sensor no pierde resolución ni información de la escena en el momento de generar la imagen (todas las celdas contribuyen a la formación de la imagen final)
- Más granularidad sobre el papel, por ejemplo a la hora de seleccionar el tamaño y tipo de las zonas de enfoque. Aunque en la práctica creo que no es algo tan relevante.
Limitaciones de Dual Pixel
Es un sistema que funciona muy bien, pero también tiene sus limitaciones.
Potencia de cálculo
Más resolución implica también análisis más costosos para el procesador (normalmente necesita más potencia de cálculo que otros sistemas PDAF).
En algunos modelos de Canon por ejemplo, este sistema deja de estar operativo en ciertos modos de vídeo. El procesador simplemente no puede cubrir la demanda del sistema Dual Pixel en esas situaciones.
Problemas con detección de líneas horizontales
El sistema Dual Pixel sólo utiliza una referencia izquierda-derecha, por lo tanto no es capaz de detectar bien las transiciones de contraste verticales en la escena (líneas o bordes horizontales)
Como comentaba anteriormente, estos sistemas tienen mucha redundancia, así que en esas situaciones actuaría por ejemplo la detección por contraste.
Es raro que en el día a día lleguemos a notar esos ‘fallos’ de enfoque.
Pero en cualquier caso es una limitación que podría afectar al rendimiento del sistema de enfoque en situaciones muy concretas.
Cobertura del encuadre
Ningún sistema actual puede operar bien en la zona más exterior del encuadre (los sistemas de las cámaras réflex están incluso más limitados y sólo operan bien en la parte más central).
Por cuestiones geométricas y el comportamiento de los objetivos: a medida que vamos hacia los bordes del encuadre es mucho más complicado detectar las diferencias de fase, ya que por ejemplo pueden quedar enmascaradas por aberraciones ópticas del propio objetivo.
Aunque el sensor tenga toda su superficie cubierta con celdas AF o con celdas dobles como en los Dual Pixel: no se puede aprovechar bien la detección de fase en esa franja más externa.
Coste de fabricación
También hay que tener en cuenta que en principio es más complicado diseñar (y fabricar) un sensor Dual Pixel que un sensor ‘híbrido’ más tradicional. Y el rendimiento final de los dos sistemas es similar.
Dicho de otra forma: a partir de una cierta resolución (densidad de celdas AF) ya no hay una ventaja apreciable y son otros factores los que marcan la diferencia en cada situación.
Resumen del sistema Dual Pixel
El sistema de enfoque basado en sensores Dual Pixel es en general excelente.
¿Es mejor Dual Pixel que los sistemas basados en celdas AF especializadas?
No necesariamente. Ni mejor ni peor.
El rendimiento global de un sistema de enfoque depende de muchísimos factores.
Suponiendo que el objetivo responde perfectamente (velocidad del motor de enfoque, torque, inercias de los grupos de lentes que hay que mover, etc.), el rendimiento del sistema en situaciones del día a día creo que depende más de la combinación de todas las capas: PDAF + CDAF (contraste) + algoritmos de reconocimiento.
En los sensores con enfoque híbrido tradicionales el sistema de enfoque PDAF trabaja con una resolución menor, pero también tiene que procesar menos información.
Los sistemas basados en Dual Pixel trabajan con más resolución, lo que implica análisis más costosos para el procesador.
Y al final, normalmente es la capa CDAF la que se encarga del ajuste fino.
Y en muchísimas situaciones lo que marca la diferencia en el mundo real, sobre todo en vídeo, son los algoritmos de reconocimiento y seguimiento: detección de ojos, detección de caras, detección de animales, etc.
Podríamos decir que la diferencia no está en si es tecnología Dual Píxel o tecnología híbrida más tradicional. La diferencia está en el uso que hace el procesador de la información que le proporciona el sensor.
