Cómo funcionan los sensores Dual ISO y qué ventajas tienen a la hora de gestionar el ruido electrónico. Un sensor dual ISO permite conmutar entre dos sistemas diferentes: uno optimizado para el rango dinámico y otro optimizado para el ruido.
Te recomiendo que veas primero este artículo sobre las fuentes de ruido en un sensor y cómo funciona el parámetro ISO de las cámaras:
ISO y ruido en los sensores de imagen de las cámaras
Y si quieres empezar un poco por el principio, con lo básico del funcionamiento del sensor, puedes echar un vistazo a este otro artículo:
Cómo funciona el sensor de una cámara digital
Introducción a los sensores Dual ISO
Vamos a hacer un resumen rápido de lo que vimos sobre las fuentes de ruido en sensores CMOS.
- Ruido fotónico
Aumenta de forma lineal con el tiempo
Aumenta con el número de fotones pero siguiendo una distribución de Poisson (raíz cuadrada)
Más información sobre el ruido fotónico - Ruido térmico acumulativo (dark current)
En los sensores modernos es muy bajo, pero…
Aumenta de forma exponencial con la temperatura
Aumenta de forma lineal con el tiempo (se acumula en el depósito durante el tiempo de exposición)
Sigue una distribución de Poisson (raíz cuadrada) - Ruido de lectura
Es ruido térmico también en su mayor parte, pero generado en la parte electrónica que va desde la salida del depósito hasta la entrada del ADC
No es acumulativo, sólo depende de la temperatura del sensor (aunque poco)
Más información sobre el ruido de lectura
Hay otras fuentes de ruido, por ejemplo el ruido FPN (fixed pattern noise) afectaría a nivel del sensor en su conjunto. Se puede reducir aplicando una corrección a posteriori (ya que el patrón de distribución espacial es fijo)
Vimos también que cuando las fuentes de ruido no están correladas (son independientes entre sí) sus efectos se suman como si fueran vectores ortogonales, se dice que se suman en cuadratura.
La suma en cuadratura exagera la diferencia entre niveles de ruido. El ruido predominante en una cierta situación hace que los demás tengan mucha menor importancia. Hay zonas de predominancia de ruido en función del número de fotones que recibe el sensor.
Para tiempos de exposición relativamente cortos y situaciones de poca luz: el ruido de lectura suele ser el predominante.
A medida que aumenta la exposición real (número de fotones) empieza a ser predominante el ruido fotónico, que es el que domina a partir de ese momento a nivel de celda. El ruido FPN puede dominar a nivel del sensor en su conjunto.
Para tiempos de exposición largos el ruido térmico acumulativo (dark current) puede llegar a tener importancia. Esta situación se daría en situaciones de muy larga exposición en condiciones de muy poca luz (p.e. fotografía astronómica), pero a no ser que se trate de situaciones extremas: alta temperatura del sensor y tiempos de exposición muy muy altos, la fuente de ruido dominante suele ser el ruido de lectura.
Ruido de lectura
Como hemos comentado, es el ruido térmico (y la combinación de otros efectos) que no acumula electrones en el depósito.
Si dividimos en bloques por simplificar un poco:
- Un bloque sería el fotodiodo y su depósito
Ahí, el ruido térmico genera electrones que van a parar al depósito (se acumulan) - El otro bloque sería la electrónica analógica que va desde la salida del depósito hasta el ADC
Se incluye el amplificador lineal y la electrónica de control
El ruido generado ahí no se acumula, simplemente genera una variabilidad mayor o menor
En el momento en que el ADC hace la lectura del nivel de señal, esa variabilidad hará que la lectura contenga un cierto error (ruido de lectura)
Al ruido de lectura, como es un ruido térmico, contribuye cualquier elemento activo (amplificadores) o pasivo (resistencias, etc.) que forma parte de un circuito electrónico.
La generación de ruido térmico está distribuida por todo el circuito.
Por ejemplo, para un amplificador, el propio amplificador está generando ruido térmico, a la vez que amplifica el ruido térmico que llega desde una etapa anterior. La electrónica activa del amplificador también puede contribuir con otros efectos al ruido (flicker, etc.)
Todo esto se puede modelar considerando que el bloque (amplificador por ejemplo) es ideal y añadiendo un ruido equivalente a su entrada (o su salida).
Amplificador multi-etapa
Recuerda que lo importante siempre es la relación señal a ruido, no el nivel de ruido absoluto.
Teniendo esto en cuenta, usar un sistema de amplificación en cascada (varios amplificadores de menor ganancia en lugar de un único amplificador de alta ganancia) puede mejora la relación señal a ruido global.
A la salida de cada amplificador, aunque hemos amplificado el ruido de la etapa anterior, también hemos amplificado la señal. Con lo que la contribución de ruido de las siguientes etapas a la SNR es cada vez menos relevante.
Por ejemplo, imagina que la señal a la entrada es 10 y el ruido a la entrada es 1.
Vamos a suponer que queremos amplificar la señal por 100. Y tenemos la opción de usar:
A) Un único amplificador de ganancia 100 y ruido equivalente a la entrada de 2.
B) Dos amplificadores idénticos, cada uno de ellos de ganancia 10 y ruido equivalente a la entrada de 1.
Pasando el ruido a la entrada
Si utilizamos un único amplificador:
- SNR a la entrada: 10 / 1 = 10
- G = 100
- Señal de salida: S = 10 * 100 = 1000
- Ruido a la salida: N = (1 + 2 ) * 100 = 300
- SNR a la salida: 1000 / 300 = 3.3
Si utilizamos dos amplificadores idénticos:
- SNR a la entrada: 10 / 1 = 10
- G = 10 ( x 2 etapas)
- Señal de salida (etapa 1) : S = 10 * 10 = 100
- Ruido a la salida (etapa 1) : N = (1 + 1) * 10 = 20
- Señal de salida (etapa 2): S = 100 * 10 = 1000
- Ruido a la salida (etapa 2) : N = (20+1) * 10 = 210
- SNR a la salida: 1000 / 210 = 4.8
Es decir, desde el punto de vista del ruido (SNR) suele ser más eficiente utilizar varias etapas de amplificación, porque es más viable diseñar amplificadores de menor ganancia y menor ruido que un único amplificador de alta ganancia y bajo ruido.
Y la primera etapa es la que marca la diferencia con respecto al ruido térmico (ruido de lectura en el caso de los sensores)
Las demás etapas apenas influyen en su contribución a este tipo de ruido.
La mayoría de los sensores con sistema de ISO dual se basan en esa filosofía: descomponer la cadena de amplificación de la señal en dos etapas, de tal forma que jugando con la ganancia y el ruido de cada etapa se puede aumentar la SNR con respecto a una solución de una única etapa.
Para llevar a cabo esto hay diferentes estrategias.
En este artículo nos vamos a centrar en la que se conoce como Dual CG (dual conversion gain), que me parece la más interesante. Pero ten en cuenta que no es la única estrategia.
Rango dinámico
El rango dinámico es la capacidad que tienen un sensor para captar con detalle zonas muy brillantes de la escena y zonas muy oscuras. Aquí tienes más información sobre rango dinámico en fotografía / vídeo y el rango dinámico explicado con un poco más de detalle.
Es decir, es la relación de contraste o rango (número de pasos de luz por ejemplo) que cubre desde la zona más oscura en la que podemos distinguir detalle hasta la zona más brillante que puede recoger el sensor sin que hayamos quemado las altas luces.
Para estimar el rango dinámico cogeríamos por ejemplo dos celdas diferentes del sensor:
- Una de ellas capta la zona de altas luces de la escena (justo antes de llegar a saturación / clipping)
- Otra de ellas capta la zona más oscura de la escena. Idealmente sería 0 (cero electrones), pero sabemos que hay un ruido electrónico.
Toda señal que tenga un nivel similar al del ruido electrónico (floor noise) será imposible diferenciarla del propio ruido.
El rango dinámico de ingeniería se suele definir como la relación entre el número máximo de electrones que puede captar la celda (full well capacity) y el nivel de ruido (e- rms) que encontraríamos en circunstancias normales, a una cierta temperatura por ejemplo, en esas celdas que no reciben nada de luz.
Para esas celdas, el ruido predominante en exposiciones cortas es el ruido de lectura.
Por lo tanto:
DR = FWC / Nri
Donde Nri es el ruido de lectura equivalente a la entrada del sistema.
El rango dinámico de ingeniería es un parámetro técnico que puede ser útil para comparar sensores. Para el usuario de una cámara es más interesante el rango dinámico fotográfico. Pero es simplemente una cuestión de escalado, para lo que vamos a explicar es más fácil pensar en el rango dinámico de ingeniería.
La conclusión que podemos sacar es que si queremos un sensor con un rango dinámico alto debería tener un depósito lo más grande posible y/o un ruido de lectura lo más pequeño posible.
Criterios para el diseño de un sensor
Cuando se diseña un sensor hay que tener en cuenta muchísimos parámetros.
Vamos a partir de que sabemos cuál será su tamaño, por ejemplo imagina que estamos diseñando un sensor APS-C
La resolución nos da el tamaño máximo que corresponde a cada celda (pixel pitch).
El tamaño de la celda es un criterio muy importante porque parte del rendimiento depende de su superficie de captación:
- Mayor superficie de captación permite recoger más fotones por unidad de tiempo
- Bueno para mejorar la SNR con respecto al ruido fotónico
Por otro lado tenemos la capacidad del depósito en el que se almacenan los electrones generados a partir de los fotones que inciden sobre la superficie sensible a la luz:
- Una capacidad muy grande permite almacenar muchos electrones
- Bueno para mejorar la SNR con respecto al ruido fotónico
- Aumenta el rango dinámico hasta que éste queda limitado por el número de bits del ADC
- Disminuye la sensibilidad de la celda: se necesitan más electrones para generar una unidad ADU (valor RAW)
Ten en cuenta que no es tan sencillo como decidir que queremos un depósito grande. Es muy complicado integrar un condensador de cierta capacidad en el espacio reducido que tiene cada celda del sensor. Hay limitaciones tecnológicas y físicas.
De todas formas vamos a suponer que tenemos cierta libertad.
Elegir la capacidad del depósito
Vamos a intentar profundizar un poco más en eso que hemos comentado de la ‘sensibilidad‘, que se suele conocer como CG (conversion gain)
Como hemos dicho, en general interesa tener un depósito por celda lo más grande posible.
En un condensador (el depósito donde se almacenan los electrones) hay una relación entre la carga almacenada, su capacidad y el voltaje (diferencia de potencial entre las superficies conductoras):
Q = V * C
El voltaje que se ‘genera’ es proporcional al número de electrones (carga eléctrica, Q) pero inversamente proporcional a la capacidad.
V = Q / C
En este contexto, la ganancia de conversión CG se define como el incremento de voltaje que provoca el almacenamiento de cada electrón (normalmente en µV/e−).
Intuitivamente, un depósito muy grande necesita más electrones (fotones convertidos en electrones) para alcanzar un determinado voltaje.
En el caso del sensor, la salida del depósito tiene que alcanzar un determinado rango de valores porque tiene que ‘alimentar’ al ADC.
Por ejemplo, vamos a suponer que el ADC tiene un rango de entrada de 0 a 1V.
Ese rango corresponde con el rango dinámico máximo que proporciona el ADC. Si lo alimentamos con una señal máxima de 0.5V, por poner un ejemplo, estamos perdiendo la mitad de su rango operativo, perdemos 1 paso de rango dinámico en el ADC.
Por ese motivo se utiliza el amplificador lineal, para subir si es necesario el nivel de voltaje del condensador hasta el nivel con el que opera el ADC.
Cuando se diseña un sensor normal como los que hemos estado modelando se llega a un compromiso y se decide cuál será la capacidad del depósito (C). Y luego se ajusta el amplificador para subir el nivel de voltaje (V) si fuera necesario para llegar hasta la situación de ISO base.
Recuerda que C es fijo por diseño. Es la capacidad (full well capacity) que hemos elegido para cada celda de nuestro sensor.
Digamos que hemos diseñado el sensor para que su rendimiento sea óptimo con buena luz: para conseguir el mayor rango dinámico posible a ISO base cuando las condiciones de luz son buenas.
En la mayoría de cámaras de fotografía y vídeo comerciales de propósito general se utiliza este criterio de diseño.
Sensor Dual ISO
Los sensores Dual ISO de tipo dual CG (ganancia de conversión dual) incluyen en el diseño de sus celdas algo similar a lo que serían dos condensadores diferentes, dos depósitos de electrones de diferente capacidad.
Internamente cada fabricante o cada modelo de sensor lo puede hacer de diferentes formas, pero el principio básico sería similar.
Cuando usamos la cámara con ISOs bajos (se supone que estamos trabajando con mucha luz) funciona el condensador de alta capacidad, para maximizar el rango dinámico como hemos estado viendo.
A partir de un cierto ISO (se supone que ya estamos trabajando con mucha menos luz) pasa a funcionar un segundo condensador de menor capacidad.
Es decir, en esa situación:
- Llega menos luz (menos fotones)
- Se generan menos electrones
- Se almacenan menos electrones
- Pero el voltaje a la salida del condensador es equivalente al que teníamos antes:
V = Q / C (como la C es más pequeña aumenta V) - El amplificador lineal tiene que bajar su ganancia para compensar ese aumento de señal.
Porque la exposición aparente tiene que corresponder con el ISO activo en ese momento (para cumplir con los estándares ISO)
Es como si hubiéramos diseñado un sensor diferente, más sensible, ‘optimizado’ para situaciones de menos luz.
Sustituimos la ganancia externa G del amplificador por una ganancia de conversión interna (GC) basada en el comportamiento del depósito.
Desde el punto de vista del ruido…
Vamos a analizar un poco qué consecuencias tiene ese cambio de ISO base.
El modelo equivalente sería similar al de un sistema de amplificación en 2 etapas.
El segundo amplificador es el amplificador lineal que veríamos en todos los sensores, que se corresponde con los cambios de ISO a partir del ISO base inicial (100, 200, 400…)
Imagina que la transición de un ISO base a otro se hace a ISO 800, y vamos a suponer que el sensor está diseño para que a ISO base la ganancia del amplificador sea 1 (en un sensor real la ganancia será la que corresponda, pero aquí vamos a usar ganancia unidad para simplificar).
En ISO 400 tendríamos que G1=1 (la ganancia de conversión normal, normalizada) y G2=4
En ISO 800, en un sensor tradicional tendríamos G1=1 y G2=8
En ISO 800 en el sensor dual ISO tendríamos G1=8 y G2=1
La diferencia en cuanto a ruido es que la contribución de Nr2 queda prácticamente anulada y como la primera etapa no es realmente un amplificador (es un condensador) su contribución al ruido es más pequeña.
El nivel de señal es el mismo, da igual aplicar la ganancia en la primera etapa o en la segunda, o en cualquier combinación de las dos.
La relación señal a ruido quedaría:
Esto ya lo habíamos visto para un sensor CMOS normal con una única etapa de amplificación. La diferencia es que aquí tenemos dos ‘etapas’, cada una de ellas con una ganancia independiente.
En el sensor normal usábamos un nivel de ruido de lectura equivalente a la salida del amplificador (Nr). Mientras que aquí lo modelamos con dos componentes: Nr1 a la entrada del amplificador lineal y Nr2 a la entrada del ADC.
Si representáramos la evolución de SNR en función del ISO para una exposición real constante (t constante) tendríamos algo parecido a esto:
La gráfica anterior es sólo una simulación matemática con valores ficticios, pero más o menos representativos. Las ganancias GC y G (G1 y G2) están normalizadas, y la SNR está representada en pasos (EV).
Para sensores reales puedes ver por ejemplo en la web de photonstophotos.net las gráficas de ruido de lectura y modelizaciones de algunos sensores, como el de la Sony A7S.
Y si llevamos el ruido de lectura total a la entrada del sistema como ruido equivalente Nri (dividiendo por la ganancia de conversión) veríamos que el cambio de ISO base produce una reducción significativa (echa un vistazo a las gráficas de Input-Referred Read Noise para diferentes cámaras).
Desde el punto de vista del rango dinámico
Para entender el efecto en el rango dinámico hay que recordar que el ‘ISO base’ se aplica a nivel global en el sensor, afecta a todas las celdas a la vez.
Es decir, el sensor está en el modo de ISO base 1 (todas sus celdas) o en el modo de ISO base 2 (todas sus celdas).
Entonces, para el ejemplo anterior, cuando llegamos a ISO 800…
En un sensor tradicional con su ISO base 1:
- Las celdas que reciben mucha luz alcanzan saturación al valor de FWC nominal reescalado por la ganancia.
Por ejemplo, imagina que FWC = 48.000 e- a ISO 100
A ISO 800, la celda alcanza saturación con 6000 e-
(es decir, con 6000 e- en el depósito, y una vez amplificada la señal, se alcanza el voltaje máximo a la entrada del ADC, blanco puro) - Las celdas que reciben poca luz quedan limitadas por el ruido de lectura Nr.
Imagina que tenemos un ruido de lectura de Nr2=16 e- y Nr1=2 e-
Si lo pasamos a la entrada (G1=1) nos quedaría algo como Nri = ( 16/8 + 2 ) / 1 = 4 e- - El rango dinámico (de ingeniería) quedaría:
RD = 6000 / 4 = 1500 (unos 10 EV)
En el sensor dual ISO con ISO base 2:
- Ahora es la propia celda la que ha cambiado su FWC
El nuevo FWC es de 6000 e-
Ahora este valor no está escalado, es realmente la capacidad del depósito: con 6000 e- se alcanza directamente el voltaje máximo a la entrada del ADC. - Ahora la ganancia G2=1 y G1=8
Suponiendo unos niveles de ruido similares, si pasamos el ruido equivalente a la entrada de G2 tendríamos unos 18 e- (16 / 1 + 2)
Y a la entrada, quedaría escalado por G1: Nri = 18 / 8 = 2.25 e- (son valores rms, no tienen por qué corresponder con electrones ‘completos’) - El rango dinámico quedaría ahora:
RD = 6000 / 2.25 = 2670 (unos 11 EV)
A partir de ese momento, a medida que seguimos subiendo ISO, el segundo amplificador se comporta como con lo hacía antes: cada paso de ISO adicional supone el doble de ganancia, pero la ganancia se ha ‘reseteado’ a ganancia unidad para este segundo ISO base.
Por ejemplo, cuando pasemos a ISO 1600 en el sensor dual ISO:
- G1 = CG = 8 <- esto ya permanece constante porque corresponde al depósito más pequeño
- G2 = 2 <- subir de 800 a 1600 es un paso, que equivale a doblar la ganancia
- El FWC efectivo sería 6000 / 2 = 3000 e-
- El valor de Nri se ajustaría con los nuevos valores de G1 y G2 pero llega un momento en que el sensor se comportará como ISO invariante.
- El rango dinámico bajaría y seguiría una pendiente similar a la que teníamos con ISO base 1
Pero ya lo hemos mejorado al cambiar al segundo modo, con lo que mantenemos esa ventaja a lo largo de todo el rango ISO.
Esto lo puedes ver también en photonstophotos.net o en dxomark.com (curvas de rango dinámico en función del ISO) para sensores de cámaras fotográficas comerciales a partir de medidas reales.
Para el caso de sensores Dual ISO, el rango dinámico suele tener un comportamiento similar a éste:
En las curvas de sensores Dual ISO se puede apreciar claramente el salto en rango dinámico cuando se hace la transición al segundo ISO base.
Como habíamos comentado antes, a efectos prácticos es como si hubiéramos cambiado el sensor en la cámara.
Más información:
La serie sobre el funcionamiento de los sensores de imagen:
- Cómo funciona el sensor de una cámara digital
- ¿Recogen más luz los sensores más grandes?
- ¿Más luz significa una exposición mayor en la imagen?
- Dos cámaras diferentes con los mismos parámetros de exposición, ¿generan la misma imagen?
- ¿Qué diferencia o margen hay entre sensores de diferente tamaño?
- Sobre el rango dinámico de los sensores de imagen
- Ruido, ISO y características del sensor de una cámara (versión más simple y fácil de entender)
- ISO y fuentes de ruido en un sensor de imagen CMOS (versión un poco más técnica)
- Subir ISO no aumenta el ruido (para entender que el valor de ISO no es el causante del ruido)
- Qué es el fichero RAW de una cámara
Fuentes de referencia:
INF5442: Image Sensor Circuits and Systems, Soman Cheng, Johannes Sølhusvik
Photographic Noise Performance Measures Based on RAW Files Analysis of Consumer Cameras, Jorge Igual [Electronics (MDPI)]
Low-noise CMOS image sensors for radio-molecular imaging, Yue CHEN (Thesis / Technische Universiteit Delft)
Leveraging Dynamic Response Pixel Technology to Optimize Inter-scene Dynamic Range, An Aptina TM Technology White Paper
A 2 e- Noise 1.3 Megapixel CMOS Sensor, Alex Krymski, Nail Khaliullin, Howard Rhodes | Micron Imaging
Deep Sky Astrophotography With CMOS Cameras by Dr Robin Glover, (AstroFarsography youtube channel)
Conversion Gain Enhancement in Standard CMOS Image Sensors, Assim Boukhayma (arxiv.org)
