Wer über mobile Fotografie und Tiefenmessung spricht, kommt an Apples LiDAR-Scanner kaum vorbei. Doch während iPhones auf aktive Hardware setzen, geht der grösste Konkurrent einen komplett anderen Weg. Samsung verzichtet bei seinen aktuellen Flaggschiffen der Galaxy-Reihe vollständig auf LiDAR oder dedizierte Time-of-Flight-Sensoren. Stattdessen setzt das südkoreanische Unternehmen voll auf Computational Photography, künstliche Intelligenz und hochentwickelte Kamerasensoren. Für Tech-Blogger und Fotografie-Enthusiasten stellt sich die Frage: Wie berechnet ein Samsung-Smartphone ohne Laser-Scanner die Tiefe eines Raumes und wie trennt es das Hauptmotiv fehlerfrei vom Hintergrund?
Die Antwort liegt in einer hochkomplexen Software-Pipeline, die innerhalb weniger Millisekunden nach dem Auslösen im Hintergrund abläuft. Während LiDAR-Systeme die Umgebung aktiv mit unsichtbaren Lichtimpulsen abtasten, verlässt sich Samsung auf das Prinzip des maschinellen Sehens und die mathematische Auswertung vorhandener Bilddaten.
Um die heutige Technologie zu verstehen, lohnt sich ein Blick auf die jüngere Vergangenheit der Galaxy-Modelle. Samsung hat in der Vergangenheit durchaus mit dedizierter Hardware zur Tiefenmessung experimentiert. Modelle wie das Galaxy S20+ oder das Galaxy S20 Ultra besassen einen sogenannten ToF-Sensor (Time-of-Flight). Diese Sensoren arbeiteten nach einem ähnlichen Prinzip wie LiDAR, nutzten jedoch eine flächige Lichtaussendung anstelle von präzisen Laserpunkten.
Mit der Einführung nachfolgender Generationen strich Samsung diese Sensoren jedoch ersatzlos aus den Kamerasystemen. Die Begründung war ebenso pragmatisch wie technologisch wegweisend: Die hauseigenen Prozessoren und die Algorithmen der künstlichen Intelligenz wurden so leistungsstark, dass dedizierte Hardware für die alltägliche Porträtfotografie schlicht überflüssig wurde. Der Fokus verschob sich vollständig von der physikalischen Messung zur rechnergestützten Bildverarbeitung.
Das Fundament der Tiefenberechnung bei Samsung-Smartphones basiert auf einem Prinzip, das der menschlichen Biologie nachempfunden ist: dem stereoskopischen Sehen. Wenn ein Nutzer den Porträtmodus aktiviert, greift das Smartphone in der Regel auf mindestens zwei Kameraobjektive gleichzeitig zu. Meist handelt es sich hierbei um die Weitwinkel-Hauptkamera und ein Teleobjektiv.
Da diese Kameras auf der Rückseite des Gehäuses physisch einige Millimeter voneinander entfernt verbaut sind, nehmen sie die Szenerie aus zwei leicht unterschiedlichen Blickwinkeln auf. Die Software nutzt diesen minimalen Unterschied, um die sogenannte Parallaxe zu berechnen. Objekte, die sich nah an den Linsen befinden, verschieben sich zwischen den beiden Aufnahmen deutlich stärker als Objekte, die sich im fernen Hintergrund befinden. Aus diesen Positionsunterschieden generiert der Bildprozessor eine hochauflösende, virtuelle Tiefenkarte, die auch als Depth Map bezeichnet wird. Jedes Bildelement erhält so einen mathematischen Distanzwert zugewiesen.
Was passiert jedoch, wenn ein Samsung-Smartphone im Porträtmodus nur eine einzige Linse nutzt, weil das Motiv beispielsweise zu nah für das Teleobjektiv ist? Auch für dieses Szenario hat Samsung eine hardwareseitige Lösung implementiert, die ursprünglich nur für den Autofokus gedacht war: die Dual-Pixel-Technologie.
Moderne Kamerasensoren von Samsung bestehen aus Millionen von Pixeln, die intern in zwei separate Fotodioden aufgeteilt sind, eine linke und eine rechte Hälfte. Beim Blick durch die Linse empfangen diese beiden Hälften das Licht aus minimal variierenden Winkeln des Objektivs. Durch den Vergleich der Phasenunterschiede zwischen der linken und der rechten Fotodiode kann der Kamerasensor nicht nur extrem schnell fokussieren, sondern auch den exakten Abstand zum fokussierten Objekt bestimmen. Jedes einzelne Pixel auf dem Sensor fungiert somit als kleiner, passiver Tiefenmesser, der wertvolle Daten an die Software liefert.
Zwei Kameras
Hauptkamera und Tele sehen die Szene aus leicht verschiedenen Winkeln. Was nah ist, verschiebt sich stark, was fern ist, kaum. Daraus entsteht die Tiefenkarte.
Eine Kamera
Ist das Motiv zu nah fürs Tele, hilft der Dual-Pixel-Sensor. Der Vergleich der beiden Pixelhälften liefert Fokus und Abstand.
Dann rechnet die KI
Sie erkennt das Motiv, trennt es vom Hintergrund und zeichnet alles je nach Entfernung stärker oder schwächer weich.
Die gesammelten Rohdaten der Kamerasensoren und der Parallaxe-Berechnung fliessen anschliessend in Samsungs zentrale Bildverarbeitungseinheit, die ProVisual Engine. Hier übernimmt die Neural Processing Unit (NPU), also der KI-Coprozessor des Smartphones, die wichtigste Arbeit. Das Ziel ist die sogenannte semantische Segmentierung des Bildes.
Die künstliche Intelligenz wurde mit Millionen von Beispielfotos trainiert, um Objekte im Bruchteil einer Sekunde zu kategorisieren. Das System erkennt sofort, ob es sich beim Motiv um einen Menschen, ein Haustier, eine Pflanze oder ein künstliches Objekt handelt. Auf Basis dieser Erkennung teilt die Software das Bild in eine sogenannte Tri-Map auf. Diese Karte definiert drei Kernbereiche: den klaren Vordergrund (das Hauptmotiv), den klaren Hintergrund und die kritischen Übergangszonen, in denen das Motiv auf den Hintergrund trifft.
Die grösste Herausforderung für jede softwarebasierte Tiefenunschärfe sind feine Strukturen wie fliegende Haarsträhnen, Fell, transparente Brillengestelle oder die feinen Kanten von Kleidung. Ohne präzise Analyse kommt es hier schnell zum gefürchteten «Helikopter-Effekt», bei dem der Hintergrund fälschlicherweise zwischen den Haaren scharf bleibt oder Haarteile unnatürlich weichgezeichnet werden.
Samsung nutzt zur Lösung dieses Problems Deep-Learning-Modelle, die eine hochentwickelte «Matte Map» erstellen. Die KI analysiert die Übergangszonen auf Pixelebene und schätzt die Wahrscheinlichkeit ein, ob ein bestimmtes Pixel zum Vordergrundobjekt oder zum Hintergrund gehört. Sogar die Transparenz von einzelnen Pixeln an Haarkanten wird berechnet. Das Ergebnis ist eine saubere, randscharfe Maskierung des Motivs, die in ihrer Präzision der physischen Freistellung einer professionellen Spiegelreflexkamera sehr nahekommt.
Ein einfacher, digitaler Weichzeichner würde den gesamten Hintergrund gleichmässig unscharf maskieren. Das würde jedoch sofort künstlich und zweidimensional wirken. Eine echte optische Linse erzeugt einen fliessenden Übergang der Unschärfe, der von der Schärfeebene aus nach vorne und hinten zunimmt.
Samsungs Algorithmen simulieren dieses physikalische Verhalten durch eine progressive Defokussierung. Sobald die Tiefenkarte des Bildes erstellt und das Motiv isoliert ist, wendet die Software den Unschärfefilter in Abhängigkeit von den berechneten Distanzwerten an. Ein Gegenstand, der sich nur wenige Zentimeter hinter der fotografierten Person befindet, wird nur minimal weichgezeichnet. Eine Bergkette im fernen Hintergrund wird dagegen in eine starke, cremige Unschärfe getaucht. Neuere Algorithmen berechnen zudem ein sogenanntes Vordergrund-Bokeh. Befindet sich beispielsweise ein Blatt einer Pflanze direkt vor der Linse, wird dieses im Vordergrund ebenso physikalisch korrekt unscharf dargestellt wie der Hintergrund.
Obwohl Samsungs Software-Ansatz im Alltag beeindruckende Ergebnisse liefert, offenbart der Verzicht auf aktive Hardware wie LiDAR systembedingte Schwachstellen, sobald die Lichtverhältnisse schlechter werden. Das ist der Punkt, an dem sich die technologischen Wege am deutlichsten trennen.
Da Samsungs KI und die Parallaxe-Berechnung auf sichtbare Kontraste, Kanten und Bildstrukturen angewiesen sind, leidet die Präzision der Tiefenkarte bei extremer Dunkelheit oder Gegenlicht. Fehlen der Kamera die visuellen Informationen, kann die Software die Kanten des Motivs nicht mehr fehlerfrei segmentieren. In solchen Szenarien kann es zu Fehlern beim Bokeh-Effekt kommen, oder der Autofokus arbeitet spürbar langsamer. Ein LiDAR-System hingegen ist völlig unabhängig vom Umgebungslicht, da es mit eigenen, unsichtbaren Infrarot-Signalen arbeitet und die Geometrie des Raumes auch in absoluter Finsternis zuverlässig erfasst. Was der Scanner im iPhone dabei konkret leistet und wo er nichts bringt, steht im Beitrag über den LiDAR-Scanner im iPhone.
Die unterschiedlichen Philosophien von Samsung und Apple zeigen sich auch abseits der Fotografie, insbesondere bei Anwendungen im Bereich Augmented Reality (AR) und beim dreidimensionalen Scannen von Objekten oder Räumen.
Ein LiDAR-Scanner liefert eine kontinuierliche, präzise Punktwolke des Raumes. Dadurch können AR-Objekte sofort und ohne Verzögerung stabil auf Oberflächen platziert werden. Auch das Vermessen von Wänden oder Möbeln per App funktioniert extrem exakt. Samsung-Smartphones müssen diese räumlichen Daten rein visuell über die Kamerabilder und die Bewegungssensoren des Telefons rekonstruieren (SLAM-Technologie). Für alltägliche AR-Anwendungen wie das Platzieren eines virtuellen Möbelstücks im Raum reicht diese kamerabasierte Methode vollkommen aus. Für professionelle, zentimetergenaue 3D-Scans von Objekten für die CAD-Weiterverarbeitung fehlt den passiven Kamerasystemen ohne Laser-Unterstützung jedoch die nötige Tiefenpräzision im dreidimensionalen Raum.
Nein. Die aktuellen Galaxy-Flaggschiffe haben weder LiDAR noch einen eigenen Time-of-Flight-Sensor. Frühere Modelle wie das Galaxy S20+ und das S20 Ultra hatten einen ToF-Sensor, die nachfolgenden Generationen nicht mehr. Die Tiefe wird heute aus den Kamerabildern berechnet.
Das Handy vergleicht die Bilder von zwei Kameras und berechnet aus der Verschiebung eine Tiefenkarte. Dazu kommen die Daten des Dual-Pixel-Sensors. Eine KI erkennt das Motiv, trennt es vom Hintergrund und zeichnet den Hintergrund je nach Entfernung unterschiedlich stark weich.
Die Berechnung braucht sichtbare Kontraste und Kanten. Fehlen sie bei Dunkelheit oder starkem Gegenlicht, wird die Tiefenkarte ungenau. Dann sitzen die Kanten des Motivs weniger sauber und der Autofokus wird langsamer. Ein LiDAR-Scanner misst dagegen unabhängig vom Umgebungslicht.
Für alltägliche Anwendungen ja, etwa um ein virtuelles Möbelstück in den Raum zu stellen. Für zentimetergenaue 3D-Scans, die in CAD weiterverarbeitet werden sollen, fehlt ohne Laser die nötige Tiefenpräzision.
Lieber live üben?
Im Smartphone Fotokurs in Luzern gehen wir genau diese Themen am eigenen Handy durch.
Der schwarze Punkt neben den Linsen misst Entfernungen mit Laserlicht. Was er für deine Fotos tut, wo er hilft, wo er nichts bringt und welche Geräte ihn überhaupt haben.
Weiterlesen
Fast jedes zweite Handy in der Schweiz ist ein iPhone, dahinter folgt Samsung. Die Marktführer laut Comparis-Studie, der Vergleich mit Deutschland und was das fürs Fotografieren heisst.
Weiterlesen
Beim Tippen auf den Auslöser entsteht kein einzelnes Foto, sondern eine Rechnung aus vielen Aufnahmen. Was Computational Photography ist, was das Handy dabei übernimmt und was trotzdem nur du entscheiden kannst.
WeiterlesenMit Google Analytics sehe ich, welche Seiten gelesen werden, und kann die Website verbessern. Dafür setzt Google Cookies, aber erst, wenn du einverstanden bist. Mehr dazu unter Datenschutz.