Les contraintes liées au multimédia.

Vendredi 21 juillet 2006, par ph@ln // Multimédia

Contraintes

L’utilisation d’un micro-ordinateur comme station multimédia impose des contraintes de deux ordres : celles liées à la mise en œuvre des périphériques et celles liées à la quantité d’informations manipulées.

1 Mise en œuvre des périphériques .

Carte son : E/S audio, interface MIDI, DSP pour traitement du son, synthèse de son (FM, wave table ou parole).

Carte d’acquisition vidéo : E/S vidéo, E/S numérique (IEEE1394), compression / décompression vidéo matérielle (MPEG, DivX, ...), pilotage de magnétoscopes, DSP pour traitement d’image.

Interface rapide pour le scanner, le lecteur graveur de CD, le DVD, etc.

2 Manipulations des données .

Utiliser des sons et des images revient à manipuler une quantité importante de données :
- 1 minute de son qualité CD (44 kHz, 16 bits, stéréo) = 10,56 Mo (176 Ko/s, soit plus que les premiers lecteur CD 1x ...).
- 1 image 640 x 480 en 16M de couleurs (24 bits) = 900 Ko.

- 1 image 15cm x 10cm (5,9p x 3,93p) numérisée en 360 dpi ("dip per inch" points par pouce) et 16M de couleurs pour une imprimante jet d’encre basique représente 9Mo de données. La même en 600 dpi demande 25Mo.

Ce flot d’informations est contraignant pour le stockage (capacité disque et mémoire vive importante) et pour les goulets d’étranglement que représentent les liaisons entre les différents organes de l’ordinateur (ISA = 16 bits à 10 MHz => 20 Mo/s, PCI = 32 bits à 33 MHz => 132 Mo/s, AGP = 532 Mo/s).

Stocker et véhiculer des données c’est bien, mais encore faut-il les manipuler, les traiter avec une rapidité suffisante pour rendre les temps d’attentes ou la fluidité des animations acceptables par l’utilisateur. C’est pour accélérer les opérations les plus courante en traitement du son et de l’image, qu’Intel (et ses concurrents...) a introduit dans ses microprocesseurs le jeu d’instructions MMX (MultiMedia Extension) et ses dérivés (ou concurrents...) (SSE, 3Dnow, ...). Une autre solution est d’utiliser des cartes accélératrices contenant des DSP (Digital Signal Processor) et de leur faire prendre en charge les calculs gourmands en ressources processeur.

Mais la puissance brute du processeur n’est pas la seule chose à prendre en compte. Le plus important est l’homogénéité des performances des différents constituants de la machine.

3 Logiciel .

Le matériel dont nous venons de parler doit être mis en œuvre par des logiciels dont les fonctionnalités sont, au moins, regroupées autour de 4 axes : acquisition, stockage, manipulation, restitution.

3.1 Stockage.

Pour le stockage, de multiples formats de fichiers existent, surtout pour les images.
- Pour le son : format WAV sous Windows, SND sous Unix, MID pour les fichiers MIDI, MOD pour les musiques synthétisées, etc.
- Pour les images fixes : vectoriel : CDR pour CorrelDraw, DRW pour Designer, WMF pour Windows MetaFile, DXF pour AutoCAD, etc.
- Bitmap : BMP pour Windows ou OS2, PCX pour Paintbrush, GIF pour CompuServe, JPG pour JPEG, etc.
- Pour les images animées : AVI pour MSVideo for Windows, MOV pour QuickTime, FLI pour AutoDesk, MPG pour MPEG, etc.

3.2 Manipulations.

Sur le son :
- compression, re-échantillonnage,
- filtrage, ajout d’effet spéciaux (réverbération, écho), mixer
- synthétiser, reconnaître.

Sur l’image :
- compression (sans, PCX, ou avec, JPG, perte d’information),
- re-échantillonnage (= changement de résolution, 600dpi vers 300dpi par exemple ou modification du nombre de couleur),
- filtrage (flou, extraction de contour, etc.),
- ajout d’effet spéciaux (morphing, solarisation, etc.),
- synthèse, reconnaissance (OCR par exemple).

4. Traitement du signal.

Le point commun entre une image en provenance d’une source vidéo, d’un son venant d’un CDAudio, de parole enregistrée avec un micro, c’est que se sont des signaux et que certains traitements sont similaires (à la dimension prés).

Les autres articles abordent des notions de traitement du signal, afin de pouvoir développer des applications de traitement d’image ou de son, mais aussi des applications plus industrielle : analyse de l’état de roulement sur machine tournante, usure d’outils, signaux radar, etc.

Il est cependant nécessaire de se "souvenir" de quelques outils mathématiques essentiels et de la nature "mathématique" d’un signal.