Frankenphone: así entrena Google la IA de la cámara de los Pixel

2018 está siendo el año de la fotografía en los móviles. Estamos disfrutando, por fin, de teléfonos que realmente pueden sustituir a una cámara de fotos compacta y, en algunos escenarios, incluso a un kit básico de una réflex. Además, también está siendo el año de la inteligencia artificial, y así usa Google la inteligencia artificial para entrenar la cámara de los Pixel. Os presentamos a Frankenphone.

No es un secreto que diferentes fabricantes utilizan la IA en los teléfonos para conseguir mejorar el resultado de una fotografía. Ya sea para un enfoque predictivo, como pueden hacer los Pixel 3 o el iPhone Xs, o para ayudarnos a sacar mejores fotografías nocturnas con modos de larga exposición, como el Huawei Mate 20 Pro, todas las compañías en diferentes gamas han usado al IA como apoyo de la cámara.

Sin embargo, el Pixel 3 (y el 2 XL) han sido teléfonos ''mágicos'' en este sentido. Y es que, mientras los demás cuentan con configuraciones de dos, tres y cuatro cámaras, los Pixel 3 logran resultados impactantes con una configuración de una sola cámara. Y es una tecnología que tiene que ver con la IA y el software, claro, ya que ha terminado llegando, incluso, a los Pixel anteriores.

Como os contamos en el análisis del Pixel 3 XL, el resultado de las fotografías en casi todas las situaciones es espectacular, pero... ¿cómo lo ha conseguido Google? 

La respuesta que teníamos hasta ahora era que lo conseguían gracias al sistema Dual Pixel que usa el autoenfoque en varias fases (PDAF) que calcula dos planos en una fotografía, lo que permite realizar ese desenfoque de fondo tan preciso por software.

Sin embargo, el sistema puede dar error en diferentes escenarios habituales, por lo que Google decidió nutrirse del machine learning y cinco Pixel 3 para entrenar a la IA que se encarga de dar vida a las fotografías de sus teléfonos.

En la foto principal de esta entrada podéis ver Frankenphone, un particular soporte de hasta 5 Pixel 3 que Google ingenió para capturar diferentes tomas de una escena con un retardo mínimo entre una y otra De este modo, la máquina aprendió qué era lo que estaba en primer y segundo plano para, así, poder difuminar todo lo que no fuera un primer plano.

Los palos para selfies que triunfan en Amazon

A base de entrenamiento con el Frankenphone, Google ha conseguido que la IA discrimine entre el objeto que queremos resaltar y el fondo para conseguir el modo retrato del Pixel. En el blog oficial, la compañía ha colgado varias fotos comparativas entre la fotografía estéreo (PDAF) primigenia y el resultado una vez entrenada la IA.

Esto nos devuelve al debate de... ¿de verdad hacen falta tantas cámaras en un teléfono, pudiendo pulir más el software? Está claro que es una conjunción de ambos elementos, pero Google ha dado en el clavo y sigue experimentando con su IA para el tratamiento de imágenes.

Y de estos avances nos podemos beneficiar todos, ya que podemos utilizar su software en Google Fotos para manipular el fondo de cualquier fotografía.