Wie HIK-Kameras Video verarbeiten: ISP, SoC und Encoding

Zwei Kameras können dieselbe Auflösung, dasselbe Objektiv und sogar denselben Sensor haben und dennoch sehr unterschiedlich aussehen und aufzeichnen. Der Unterschied ist meist der Videoverarbeitungschip: dem System-on-Chip, der Sensordaten in den Stream umwandelt, den Ihr Rekorder speichert.

Dieser Leitfaden erklärt, was dieser Chip leistet, wie ISP, Codec und NPU zusammenspielen und welche Spezifikationen bei der Spezifikation von Kameras für ein Projekt tatsächlich relevant sind.

1. Eine Kamera ist ein kleiner Computer

Eine Netzwerkkamera enthält einen Bildsensor, ein Objektiv, DRAM, Flash und ein Video-SoC. Das SoC führt das Betriebssystem, die Bildpipeline, den Encoder, die Analyse-Engine und den Netzwerk-Stack aus.

Die für Bildqualität und Bandbreite maßgeblichen Blöcke sind der ISP, der Videoencoder und zunehmend die neuronale Verarbeitungseinheit. Arbeitsspeicher und Massenspeicher stehen dahinter und begrenzen stillschweigend, was die Kamera aufrechterhalten kann.

Da diese Blöcke einen Chip gemeinsam nutzen, konkurrieren sie um Strom und Bandbreite. Eine Kamera, die einen zweiten Stream, ein intelligenteres Analysemodell oder eine höhere Bildrate hinzufügt, fügt nicht isoliert eine Funktion hinzu; sie entzieht Ressourcen an anderer Stelle.

Der Datenpfad führt vom Sensor über eine serielle Verbindung in das SoC, durch den ISP, in den Encoder und über Ethernet hinaus. Die Analyse greift dieselben Frames ab, weshalb Detektions- und Encoding-Einstellungen interagieren.

Zwei Kameras mit demselben Sensor können sich daher in Schärfe, Rauschen, Bitrate und Detektionszuverlässigkeit unterscheiden. Der Sensor setzt die Obergrenze; die Verarbeitungskette entscheidet, wie viel von dieser Obergrenze der Betrachter tatsächlich erhält.

2. Der ISP: Wo das Bild entsteht

Der Image Signal Processor (ISP) nimmt Roh-Bayer-Daten und erzeugt ein darstellbares Frame. Er wendet Schwarzpegelkorrektur, Lens-Shading-Korrektur, Demosaicing, Weißabgleich, Gamma, Schärfung und Rauschunterdrückung an.

Wide Dynamic Range ist die ISP-Funktion, die Käufer am deutlichsten wahrnehmen. Eine Kamera, die auf einen hellen Eingang gerichtet ist, benötigt Tone Mapping, das sowohl die Türöffnung als auch den Innenraum lesbar hält; schlechtes WDR zeigt sich als weiße Türöffnung oder schwarzer Innenraum.

Temporale Rauschunterdrückung nutzt Informationen über mehrere Frames hinweg. Sie bereinigt Low-Light-Video, aber aggressive Einstellungen verwischen bewegte Objekte, was wichtig ist, wenn der Zweck die Identifikation und nicht ein gefälliges Bild ist.

Der ISP übernimmt außerdem die Tag/Nacht-Umschaltung und die IR-Cut-Steuerung. Eine langsame oder instabile Umschaltung erzeugt in der Dämmerung Farbbilder, die verrauscht und unbrauchbar sind – eine häufige Beschwerde, die nichts mit dem Sensor zu tun hat.

Die Farbwissenschaft gehört zum selben Block. Sättigung, Kontrast und Weißabgleich sind Herstellerentscheidungen, und zwei Kameras können dieselbe rote Jacke unterschiedlich wiedergeben. Für Beweiszwecke zählen neutrale Farben und akkurate Hauttöne mehr als lebhafte Marketingbilder.

Die Objektivabschattungskorrektur wird leicht übersehen. Günstigere Objektive fallen zu den Ecken hin ab; der ISP kompensiert dies, aber eine starke Korrektur verstärkt nachts das Rauschen in den Ecken.

3. Der Encoder: Bandbreite und Speicher

Der Encoder komprimiert Frames in H.264 oder H.265. H.265 reduziert die Bitrate bei gleicher wahrgenommener Qualität typischerweise um 40–60 %, weshalb es neue Projekte dominiert.

Smart-Codecs gehen weiter, indem sie das I-Frame-Intervall erhöhen und Details in statischen Bereichen reduzieren. Bei einer ruhigen Szene ist die Einsparung groß; auf einer belebten Straße investiert der Encoder Bits, um bewegte Objekte scharf zu halten, und die Einsparung schrumpft.

Drei Einstellungen bestimmen die tatsächliche Bitrate: Auflösung, Bildrate und Szenenkomplexität. Der Wechsel von 25 auf 15 Bilder pro Sekunde kann die Bitrate um etwa ein Drittel senken, mit geringem Verlust für Flure und Perimeteransichten.

Sub-Streams werden separat mit niedrigerer Auflösung kodiert. Sie sind das, was mobile Apps und Multi-View-Wände nutzen, und sie sind der Unterschied zwischen einer nutzbaren Fernansicht und einem sich drehenden Ladeindikator.

Die Ratensteuerung ist ebenso wichtig wie der Codec. Eine konstante Bitrate hält den Stream für Netzwerke und Speicher vorhersehbar; eine variable Bitrate setzt Bits dort ein, wo die Szene sie benötigt. Rekorder bevorzugen normalerweise die vorhersehbare Option, während die Bildqualität die adaptive bevorzugt.

Der Codec ist in Standards wie ITU-T H.265, aber die Implementierungsqualität variiert je nach Chip. Ein gut abgestimmter H.264-Encoder kann einen schlechten H.265-Encoder bei gleicher Bitrate übertreffen.

4. Die NPU: Edge-Analytik

Die Klassifizierung von Personen und Fahrzeugen läuft auf einer neuronalen Verarbeitungseinheit im SoC. Sie filtert Regen, Bäume und Scheinwerfer heraus, die eine pixelbasierte Bewegungserkennung auslösen würden.

Die NPU-Leistung wird in Operationen pro Sekunde angegeben, aber die entscheidende Frage ist, was die Kamera gleichzeitig ausführen kann: wie viele Detektionstypen, bei welcher Auflösung, auf wie vielen Streams, bei welcher Bildrate.

Die Analytik hängt auch von Pixeln auf dem Zielobjekt ab. Eine Person, die am hinteren Ende eines Parkplatzes vierzig Pixel hoch ist, lässt sich nicht zuverlässig klassifizieren, egal was die NPU-Spezifikation sagt.

Edge-Analytik reduziert die Rekorderlast und den Netzwerkverkehr, aber sie ist nicht kostenlos: Sie verbraucht SoC-Reserven, die sonst für die Kodierungsqualität oder einen zweiten Stream zur Verfügung stünden.

Eine typische Analyse-Pipeline führt Detektion, Klassifizierung und Tracking aus. Die Detektion findet bewegte Regionen; die Klassifizierung weist ihnen Bezeichnungen zu; das Tracking hält eine Identität über Frames hinweg aufrecht, damit eine Person nicht zwanzig Ereignisse erzeugt.

Interoperabilität ist wichtig, wenn Kameras und Rekorder von unterschiedlichen Herstellern stammen. ONVIF Profile definieren, wie Analyse-Metadaten ausgetauscht werden, und ein Rekorder, der diese Ereignisse ignoriert, zeigt die Kamera als reine Videoquelle an.

Die Datenschutzmaskierung läuft über denselben Pfad. Masken, die nach der Codierung angewendet werden, sind weniger zuverlässig als Masken, die im ISP vor der Codierung angewendet werden, weil die zugrunde liegenden Pixel möglicherweise noch im Rohstream vorhanden sind.

5. Arbeitsspeicher und Speichermedien

Die DRAM-Bandbreite begrenzt, wie viele Streams und Analysen das SoC bewältigen kann. Eine Kamera mit viel Rechenleistung, aber knappem Speicher wird Frames verwerfen, wenn Analysen und ein zweiter Stream gleichzeitig laufen.

Der integrierte Speicher nutzt eMMC- oder NAND-Flash oder eine microSD-Karte. Karten sind praktisch, haben aber eine begrenzte Schreibausdauer; kontinuierliche Aufzeichnung auf einer Consumer-Karte kann sie innerhalb von ein bis zwei Jahren verschleißen.

Wenn eine Kamera zur Sicherung auf eine Karte aufzeichnet, wählen Sie eine Karte mit hoher Ausdauer und überwachen Sie ihren Zustand. Wenn sie nur Ereignisse aufzeichnet, ist eine Standardkarte in der Regel ausreichend.

Eine einfache Abschätzung der Ausdauer hilft. Eine 64 GB-Karte mit 3,000 Schreibzyklen kann vor dem Verschleiß etwa 190 TB an Schreibvorgängen aufnehmen. Eine einzelne 4 MP-Kamera mit 4 Mbps schreibt etwa 1.3 TB pro Monat, sodass kontinuierliche Aufzeichnung dieses Budget in wenigen Jahren und nicht in Jahrzehnten ausschöpft.

Netzwerkspeicher verlagert das Problem auf den Recorder. Die Kamera puffert Frames weiterhin im DRAM, sodass sich ein schwaches Speichersubsystem als verworfene Frames während der Wiedergabe zeigt und nicht als offensichtlich defekte Live-Ansicht.

6. Stromversorgung, Wärme und PoE

Kodierung und Videoanalytik verbrauchen Strom, und Strom wird in einem geschlossenen Gehäuse zu Wärme. Eine Kamera, die bei 1080p kühl läuft, kann bei 4K mit aktivierter Videoanalytik in direkter Sonneneinstrahlung heruntertakten oder neu starten.

PoE-Budgets werden oft aus der Leistungsaufnahme der Kamera im Leerlauf berechnet. Addieren Sie die IR-LEDs, die Heizung, sofern vorhanden, und die zusätzliche Last bei laufender Analytik, und lassen Sie dann Reserve am Switch.

Wärme beeinträchtigt auch die Bildqualität: Das Sensorrauschen steigt mit der Temperatur, daher sind ein gut konstruiertes Gehäuse und eine sinnvolle Bitrate oft wichtiger als ein weiteres Megapixel.

Dies sind Planungswerte. Messen Sie die tatsächliche Leistungsaufnahme nachts bei aktivierter Analyse, bevor Sie das Switch-Budget festlegen.

7. Worauf bei der Spezifikation von Kameras zu achten ist

Für die Beschaffung auf Komponentenebene – Bildsensoren, Video-SoCs, PoE-Controller, Speicher und Speichermedien – Chip-seek listet verfügbare elektronische Komponenten auf mit Lagerbestand und Preisen und seinem Komponentenkatalog ist eine nützliche Referenz, wenn ein Projekt ein bestimmtes Bauteil statt einer fertigen Kamera benötigt.

8. FAQ

Bedeutet eine größere NPU eine bessere Videoanalytik? Nicht automatisch. Auflösung am Zielobjekt, Modellqualität und Tuning sind genauso wichtig wie die reine Rechenleistung.

Ist H.265 immer besser als H.264? Bei gleicher Qualität spart es meist Bandbreite, aber Kompatibilität und Rekorder-Unterstützung sind weiterhin wichtig.

Warum steigt die Bitrate nachts? Rauschen ist teuer zu kodieren. Ein verrauschtes Bild benötigt mehr Bits für die gleiche wahrgenommene Qualität.

Kann ich Analysen per Firmware hinzufügen? Manchmal, wenn das SoC eine NPU hat und der Hersteller die Funktion freigibt, aber verlassen Sie sich nicht darauf.

Beeinflussen intelligente Codecs die Beweisqualität? Das können sie. Testen Sie die tatsächliche Szene, bevor Sie sich bei der Identifizierung auf aggressive Einstellungen verlassen.

Wie viele Streams kann eine Kamera betreiben? Typischerweise zwei oder drei, abhängig von Auflösung, Codec und SoC-Reserven.

Ist microSD für 24/7-Aufzeichnung zuverlässig? Nur mit High-Endurance-Karten, und selbst dann sollte der Zustand überwacht werden.

Beeinflusst Hitze die Bildqualität? Ja. Das Sensorrauschen nimmt mit der Temperatur zu, besonders in kompakten Gehäusen.

Warum benötigen zwei 4-MP-Kameras unterschiedlich viel Speicher? Die Bitrate unterscheidet sich je nach Codec-Tuning, Bildrate, Szenenkomplexität und Rauschen bei Nacht.

Kann ich Kameras nur anhand des Datenblatts vergleichen? Nur teilweise. Testen Sie die tatsächliche Szene bei Nacht; Verarbeitungsunterschiede zeigen sich selten in einem Datenblatt.

Empfohlene HIK-Kameras

Kameras mit aktuellen ISP-, Codec- und Analyseplattformen. Bestätigen Sie die Analysearten und Stream-Limits für Ihr Projekt.