[ad_1]
Las cámaras selfie son una parte esencial de cualquier teléfono inteligente — pero encontrar el punto óptimo para la cámara frontal a menudo puede ser una barrera para una experiencia de visualización fluida. Sin embargo, gracias a Under Display Camera (UDC), los usuarios pueden despedirse del pequeño punto negro en la parte frontal de sus pantallas. Samsung Electronics le ha dado a SVP una importante actualización en el nuevo Galaxy Z Fold4, brindando a los usuarios una experiencia de pantalla completa aún más inmersiva e ininterrumpida.
Como tantas otras grandes innovaciones, la última UDC fue un esfuerzo de grupo — guiado por expertos de Samsung y valiosos comentarios de los consumidores. Para obtener más información sobre la SDU mejorada para Galaxy Z Fold4, Samsung Newsroom habló con expertos de Samsung Research,1 que colaboró en la tecnología.
Siga leyendo para ver lo que John Seok-Jun Lee, jefe de la sección de cámaras computacionales de Samsung Research America (SRA), y Alok Shukla, jefe de la sección de soluciones de visión de IA del Samsung R&D Institute India-Bangalore (SRI-B), tenían que decir sobre su colaboración detrás de traer tecnología UDC mejorada.
P: ¿Qué es una cámara debajo de la pantalla (UDC)?
Jun Seok: Una cámara debajo de la pantalla (UDC) es una solución de cámara innovadora que permite una experiencia de visualización ininterrumpida en un dispositivo móvil ocultando la cámara debajo de la pantalla y dedicando toda la pantalla a los usuarios mientras se ejecutan las aplicaciones. Esto requiere no solo innovación de hardware colocando una cámara debajo de un panel de visualización, sino también innovación algorítmica para restaurar la calidad de la imagen. — uno de los problemas de restauración de imágenes más complejos.
P: ¿Cómo funciona UDC?
Correcto : En UDC, una cámara frontal se encuentra debajo de la pantalla. La densidad de píxeles de la pantalla se reduce en esta área, lo que permite que la pantalla muestre imágenes sin obstáculos — pero al mismo tiempo, no impida que la luz llegue a la cámara cuando esté en uso. Debido a que la cámara se coloca debajo de la pantalla, el UDC puede sufrir una calidad de imagen deficiente causada por artefactos de difracción, lo que genera destellos, saturación, desenfoque y neblina. Por lo tanto, aunque UDC brinda una mejor experiencia de visualización, también afecta la calidad de imagen de la cámara y otras tareas de visión posteriores. Estas distorsiones complejas y diversas hacen que la restauración de imágenes UDC sea extremadamente difícil.
P: ¿Por qué UDC es una tecnología importante cuando se trata del Galaxy Z Fold4? ¿Qué valor aporta a los clientes?
Jun Seok: Los plegables de Samsung están diseñados para ser nuevos y diferentes, combinando un teléfono inteligente y experiencias de visualización inmersivas en un dispositivo móvil a través de una tecnología de pantalla revolucionaria. Cuando está plegado, proporciona una usabilidad similar a la de un teléfono inteligente y, cuando está desplegado, la pantalla proporciona una experiencia más inmersiva y productiva. Nuestra investigación de consumo mostró que los usuarios de la serie Galaxy Z Fold prefieren la cámara de la pantalla de cubierta para capturar fotos y selfies y la pantalla principal inmersiva para tareas más productivas como mirar videos, jugar juegos y trabajar en documentos. Por lo tanto, sentimos que la tecnología UDC sería la solución ideal para satisfacer su necesidad de una pantalla ininterrumpida y al mismo tiempo poder realizar tareas como abrir videollamadas. Samsung lanzó la primera solución UDC plegable en el Galaxy Z Fold3 y mejoró aún más su calidad en el Galaxy Z Fold4.
Correcto : El Galaxy Z Fold4 realmente revela un mundo de visualización inmersivo. La tecnología UDC está en el corazón de la búsqueda de una verdadera pantalla completa. Al combinar la innovación de vanguardia en tecnología de visualización con técnicas avanzadas de IA para la restauración de imágenes, el Galaxy Z Fold4 logra el equilibrio perfecto entre la calidad de la pantalla y la calidad de la imagen de la cámara.
P: ¿Cómo ha mejorado la calidad de imagen de la cámara desde el Galaxy Z Fold3?
Correcto : Samsung Galaxy Z Fold3 presentó el primer UDC del mundo en un plegable. Después del lanzamiento del Galaxy Z Fold3, uno de los principales comentarios de los consumidores fue hacer que SVP fuera menos visible. En el Galaxy Z Fold4, el diseño de subpíxeles se optimizó para ocultar aún más el UDC.
Como se mencionó anteriormente, cuando la cámara se coloca debajo de la pantalla, puede generar una calidad de imagen deficiente causada por artefactos de difracción, que provocan destellos, saturación, desenfoque y neblina.
Es por eso que, en Galaxy Z Fold4, hemos aprovechado el poder de la IA, respaldado por el procesamiento de múltiples imágenes, para desarrollar una nueva canalización de imágenes computacionales para la restauración de imágenes UDC.
SRI-B, con Visual SW R&D Group en MX Business, se centró en el desarrollo de la restauración de imágenes de IA para la captura y vista previa de fotografías para compensar la difracción óptica en UDC. Al mismo tiempo, el laboratorio de innovación de procesadores móviles (MPI) de SRA mejoró el algoritmo de fotografía computacional de fotogramas múltiples. El Galaxy Z Fold4 UDC resuelve los principales desafíos técnicos en calidad de imagen para brindar una experiencia única a los clientes finales.
P: Cuéntenos sobre el viaje del proyecto de asociación SRA-SRI. ¿Por qué sus dos equipos colaboraron?
Jun Seok: El SRA MPI Lab ha trabajado con SRI-B a lo largo de la historia de MPI en Samsung, desde el lanzamiento de la cámara Galaxy Note4 en 2014 hasta el Galaxy Z Fold4 y Z Flip4 en 2022. SRA MPI lideró la investigación y el desarrollo del procesamiento de fotogramas múltiples MX ( MFP) para UDC, Night Mode, Expert RAW y otras tecnologías. SRI-B ha contribuido a todas las MFP SRA MPI lanzadas al proporcionar un software de cámara increíble, ajuste de calidad de imagen y recursos para la comercialización, así como I + D en cámaras AI. Nuestra colaboración a tres bandas con el grupo de I+D de MX, SRA MPI y SRI-B ha sido un éxito — especialmente cuando el equipo global hizo un uso efectivo de las diferencias de zona horaria para completar a tiempo los hitos de un proyecto tan complicado. Siempre es un placer trabajar con ellos y unir los éxitos de cámara de los dispositivos Galaxy para lograr nuestro objetivo común de ser la mejor experiencia de cámara de teléfono inteligente del mundo.
P: Explique su función y las contribuciones de su equipo a UDC. ¿Cómo ayudó a hacer posible la mejor experiencia de usuario?
Correcto : Samsung Galaxy Z Fold4 UDC fue un proyecto de investigación y desarrollo complejo, y el rol de SRI-B fue pensar de principio a fin para lograr la mejor experiencia para el consumidor. Esto requería experiencia en múltiples dominios y una profunda colaboración entre múltiples equipos. Los expertos de SRI-B, SRA-MPI Lab y MX Visual SW R&D Group trabajaron a la perfección para ofrecer un experimento UDC de extremo a extremo.
SRI-B también fue clave en el uso de una unidad de procesamiento neuronal (NPU) para ejecutar el modelo de IA, logrando un rendimiento en tiempo real en las vistas previas y un tiempo de procesamiento de captura significativamente más rápido que en el Samsung Galaxy Z Fold3 UDC. Las vistas previas de la cámara, las grabaciones de video y los escenarios de videollamadas requieren un rendimiento en tiempo real sin perder ningún cuadro. La restauración UDC acelerada basada en IA con NPU para el procesamiento de vista previa se aplicó por primera vez en Samsung Galaxy Z Fold4. Aunque el procesamiento en tiempo real no era necesario, ya que la captura de la cámara requería una calidad de imagen superior a la vista previa, era deseable lograr una mejor calidad de imagen con menos tiempo de procesamiento para la experiencia del usuario.
P: ¿Cuáles fueron los desafíos que enfrentó al desarrollar esta tecnología y cómo los superó?
Jun Seok: La baja transmisión de luz y la difracción de la luz son los principales desafíos de la tecnología de cámaras UDC. Otro desafío más, que es diferente de una tubería de imagen de cámara perforada, es que la calidad de captura de UDC se ve afectada no solo por el módulo de la cámara, sino también por el panel de visualización. El algoritmo 3D ISP basado en IA de SRA MPI ha sido diseñado con la flexibilidad de ajustar la calidad de la imagen de salida con diferentes características de visualización. Tener tanta flexibilidad en 3D ISP ayudó a superar estos desafíos.
Correcto : El objetivo principal de SRI-B fue desarrollar un módulo de restauración de imágenes de IA para Samsung Galaxy Z Fold4 UDC. Estas restauraciones son necesarias tanto para el modo de captura de fotos como para el modo de video. Tanto los escenarios de grabación de video como los de videollamada tienen requisitos estrictos para el procesamiento en tiempo real dentro de los límites de consumo actuales.
La restauración de UDC basada en IA se aplicó por primera vez en Samsung Galaxy Z Fold4 UDC para video. Para obtener una mejor calidad de video que el Galaxy Z Fold3, tuvimos que aligerar el modelo de IA sin dejar de obtener una buena calidad de restauración. Se han realizado varios experimentos en el diseño y entrenamiento de redes para lograr una buena calidad en tiempo real. SRI-B hizo un uso extensivo de NPU y técnicas de cuantificación avanzadas para preparar un modelo de IA más liviano y altamente optimizado que logra un rendimiento en tiempo real con un bajo consumo de corriente.
P: ¿Cuál es su visión para futuras iteraciones de UDC en Samsung?
Correcto : El UDC del Samsung Galaxy Z Fold4 ha abierto una nueva dimensión al factor de forma de la cámara del teléfono inteligente. Los UDC en el futuro permitirán colocar sensores de cámara más grandes y múltiples cámaras en posiciones flexibles sin comprometer la experiencia de visualización. Otro gran desafío es la adopción masiva de la tecnología UDC en más productos como la cámara frontal principal. Para que esto suceda, se necesitará una mejora significativa en la calidad de imagen de la cámara, el tiempo de procesamiento y la experiencia de visualización.
Jun Seok: Dado que el Galaxy Z Fold4 UDC ofrece una experiencia mucho mejor en términos de ocultar la cámara debajo de la pantalla y mejorar la calidad de la imagen, la dirección de I + D para los próximos dispositivos insignia está cambiando y se esforzará por hacer que el UDC sea completamente invisible. Esto proporcionará la mejor experiencia de pantalla móvil inmersiva ininterrumpida mientras se logra la misma calidad de imagen que una cámara perforada.
1 Samsung Research, que actúa como centro avanzado de I+D de Samsung Electronics, lidera el desarrollo de tecnologías futuras para la división Device eXperience (DX) de la empresa.
[ad_2]