Les smartphones devenant une pièce maîtresse de nos vies, leur capacité à en faire de plus en plus avec une puissance incroyable et une efficacité stupéfiante ne fera que gagner en importance. Grâce à la photographie informatique, les appareils photo des smartphones sont capables d’obtenir des résultats impressionnants, mais il y a des inconvénients. Cette méthode de création d’images exige des performances sérieuses et le rendu des images finales peut prendre du temps. Cela peut signifier que les aperçus d’images ne correspondent pas au résultat final, et cela peut créer un grand écart de qualité d’image entre la photographie et la vidéo, ce qui ne peut pas bénéficier de l’empilement de plusieurs images pour une plage dynamique plus large et plus propre. imagerie

Les demandes de traitement d’image AI sont élevées, et même les SoC téléphoniques avec des FAI et des unités de traitement neuronal (NPU) à bord n’ont tout simplement pas la puissance nécessaire pour effectuer ce traitement AI. Ce manque de puissance signifie finalement des défauts de qualité d’image qui ne seraient pas nécessaires avec une NPU suffisamment puissante. Afin de mieux gérer la quantité de données provenant des caméras, OPPO a construit une NPU dédiée et puissante qui peut aller bien au-delà des capacités des smartphones actuels.

Pour démontrer l’énorme bond en avant qu’une NPU puissante peut offrir, OPPO présente sa première NPU d’imagerie – MariSilicon X – qui sera lancée dans la série Find X au début de 2022. La société a passé 10 ans à travailler sur sa technologie d’imagerie, des objectifs et des capteurs aux algorithmes internes et maintenant à sa propre NPU. Avec l’intégration verticale de ces fonctionnalités, le MariSilicon X d’OPPO devrait offrir de nouveaux niveaux de performances photographiques pour les smartphones.

Liste des fonctionnalités OPPO MariSilicon X

Avec une NPU d’imagerie de pointe construite à partir de zéro, le MariSilicon X est capable d’offrir des performances sérieuses. Le NPU intégré peut atteindre 18 TOPS@INT8 de traitement et atteint une efficacité de 11,6 TOPS/watt. Ses vitesses de traitement nécessitent une mémoire capable de suivre, c’est pourquoi OPPO a inclus un sous-système de mémoire Terabit et une bande passante mémoire DDR supplémentaire de 8,5 Go/s sur MariSilicon X. La mémoire joue un rôle dans cette efficacité, tout comme de nombreuses opérations d’IA câblées dans le Conception de NPU. Avec ces hautes performances, le MariSilicon X peut effectuer une réduction du bruit sur une vidéo 4K à 40 ips, assez rapidement pour le fournir en temps réel.

L'architecture de OPPO MariSilicon X

Actuellement, le pipeline de traitement d’image du smartphone consiste à capturer une image et à la compresser de RAW en RVB et YUV – un processus qui voit une grande partie des données d’image d’origine perdues. Les téléphones exécutent ensuite leur travail de photographie informatique sur ces images compressées, ce qui limite considérablement la qualité potentielle du produit final. Le NPU du MariSilicon X entre au milieu de ce processus, car il a les vitesses nécessaires pour gérer un pipeline de traitement d’image dans le domaine RAW. En d’autres termes, il peut exécuter son travail de photographie informatique sur l’image d’origine alors que toutes ses données sont encore intactes.

Le MariSilicon X permet la capture vidéo en 4K avec Ultra HDR en 20 bits et une plage dynamique de 120 dB en combinant plusieurs images HDR dans le domaine RAW pendant l’enregistrement. L’effet est constitué d’images vidéo individuelles qui sont au même niveau que la photographie. La puissance de ce traitement et la vitesse qu’il peut atteindre permettent même la vidéo nocturne 4K AI – une capacité inédite pour Android – en utilisant des données RAW avec une sortie finale aussi vive que l’aperçu en direct.

Images d'une femme comparées entre MariSilicon X, iPhone 13 Pro Max, Find X3 Pro
MariSilicon X prend en charge la vidéo Ultra-HDR 20 bits

Lorsqu’il est combiné avec du matériel spécialisé, le MariSilicon X NPU peut aller encore plus loin. Le MariSilicon X peut prendre en charge le mode RGBW Pro d’OPPO à l’aide d’un capteur RGBW, qui lui permet ensuite de traiter séparément les signaux rouge, vert, bleu (RGB) et W et de les combiner en une seule image avec une amélioration de 8,6 dB de la plage dynamique et 70 % de plus texture.

Avec les limites du pipeline d’imagerie actuel et le potentiel révolutionnaire d’une NPU dédiée avec suffisamment de puissance pour traiter les images dans le domaine RAW, l’avantage d’ajouter des NPU d’imagerie aux smartphones est évident. Ils permettront aux utilisateurs de capturer des photos de meilleure qualité et de transformer la vidéo nocturne en réalité.

Images de vases colorés comparés entre MariSilicon X, iPhone 13 Pro Max, Find X3 Pro
MariSilicon X apporte pour la première fois la vidéo nocturne 4K AI sur les smartphones Android, où les intensités lumineuses sont inférieures à 5 lux

Vous pouvez en savoir plus sur le MariSilicon X et toutes les innovations et offres technologiques à venir d’OPPO lors du OPPO Inno Day 2021.