Visual, audible and verbal: synthetic intertextuality
Résumé
Basically all communication is inter-semiotic. even those texts which traditionally have been understood as based on one code now seem to be the realization of at least two code systems. the verbal communication in its two basic variants is also poly-code: the oral presentation of a text cannot help mobilizing the so called para-verbal aspects of speech (tempo, timbre, intonation, etc.) which account for a large portion of information and, at the same time, modulate the message conveyed by the lexemes and syntax, and sometimes, as in the case with ironic intonation, even completely invert the content of the speech. no less important, although more obscure, is the manifestation of the visual aspect in the written (typed) word. We are not speaking of such universally known facts as William Blake's hand-made books, or contemporary visual poetry where the word may be completely ousted by an image. the very type of a font, the structure of a page (the layout of the text and the way it is positioned in between the margins), the cover, as well as the texture of paper - it all can produce additional information which may drastically affect the process of reading and evaluating texts. the very fact that the verbal and the para-verbal correspond and correlate calls for the theory of inter-semiotic intertextuality, where the visual, being just one element of an intersemiotic continuum, may be viewed upon as influenced by other constituents of the whole - verbal, audible, plastique, etc., and, the other way round, as exerting influence on those. The scholars who would attempt to create the basics of this theory should outline the set of priorities under which such poly-code synthetic texts might function, and the very mechanics of their functioning. there is a certain historic background to this theory, rooted way back in the romanticists' endevour to build up the theory of the universal art, and in richard Wagner's speculations on the synthetic character of the opera. Some attempts have already been made in the field at present, and those proved to be successful. in russia, namely in Moscow and Kaliningrad, a group of scholars spent a couple of decades in the late 1900s trying to revise the efforts made earlier and to give those a new life. to follow these, though rather independently, a russian scholar, psycholinguist alexander Sonin, has undertaken recently the analysis of the verbal-visual texts (commercial advertising and comic strips) showing quite clearly how the two constituents of the multicode text collaborate in creation of the aggregate meaning of the whole. So, the author shows that within the procedures of the cognitive processing of the poly-code text consisting of verbal and visual structures, the latter presuppose the basic representations of the content, while the verbal component tends to modulate the emerging meanings. in other words, in the process of the poly-code text's comprehension its visual component forms a context within which the verbal information in decoded, helping in its turn to decode the information which the visual component contains. Cognitive science provides the theoretical background to the studies of the poly-code text and the role which the visual component of this text plays in the formation of the whole structure. the semantic representation of the aggregate content is formed, presumably, within what the theory of the conceptual integration calls "the Blended Space", "the inputs" being formed by the contents of the verbal and / or visual components of the whole. although with a different purpose, the potential of G. Fauconnier and M. turner's theory of conceptual integration in dealing with the poly-code texts (visual and verbal) has been vividly illustrated by Kenneth a. Mcelhanon in his studies of commercial advertising. the question, though, remains: although we can easily model the processes which are under way on the mental level, to show how those are imbedded in texts still makes a problem, due to the fact that the gap between the verbal and the pre-verbal is still beyond the scholars' understanding. in the meantime still there are perspectives to deal with. in addition to alexander Sonin's observations on how the different structures of the poly-code text correlate on the cognitive level, some other theories may also be taken into consideration. though not dealing with the visual text (her interests lie within the sphere of a different type of the synthetic text, namely - verbal and musical), M. langleben in her studies of the classical song shows how the musical component of the wholesome structure forms a sort of a superstructure which, in the process of the song's movement, restructures the meaning of the verbal text - in much the same manner as it happens with static visual-verbal structures in a. Sonin's examples. to combine all the above theories in one, and to show how the aggregate meaning of the whole is being formed within the frame of a poly-code text is possible in the perspective of yet another theory which was formed to satisfy the needs of the contemporary aesthetics, the theory of intertextuality. although dealing with verbal texts, this theory in its classical form, elaborated by J. Kristeva, a Bulgarian-French philosopher and literary critic, may be quite helpful in solving the problem of how the components of different semiotic origin correlate in the poly-code text. the basic idea of the theory of the intertext (corresponding to the basic views of richard Wagner) is that of the counter-annihilation of the discourses that collide in the process if the intertext-making - with a perspective of creation of new meaning which cannot be traced back to the sum of the initial constituents of the emerging semantic structure. Having elaborated a theory of this kind the scholars will be able to deal with a host of texts where the aggregate semantics is being formed on the basis of donations from different semiotic sources, actually, with any text of Culture (literary, visual, plastic, musical, etc.), which, by its very nature, is the manifestation of the principles of synthetic, and intersemiotic, intertextuality.
Intertextualité synthétique : visuel, audio et verbal
En somme, toute communication est considerée comme intersémiotique. le texte se présente ainsi comme une réalisation de deux systèmes de code au moins, même celui-ci qu'on considère traditionnelement comme basé sur un seul code. la communication verbale dans ces deux modèles de base, soit orale ou écrite, est aussi à plusieurs codes. ainsi, la présentation orale du texte mobilise toujours les aspects dits paraverbaux du discours comme le rythme, le timbre et l'intonation qui representent la plupart de l'information transmise et modèlent le message representé par le lexique et la syntaxe ou peuvent même inverser le contenu du discours quand on a recours à l'inontation ironique. l'analyse du discours qui est devenue très courante au cours des dernières décennies attache beaucoup d'importance aux aspects visuels et paraverbaux, c'est à dire à la pose et la gesticulation, et même aux vetements et à la conduite de celui qui parle. la manifestation du visuel à l'écrit réalisé avec de la typographie est aussi importante bien qu'elle soit moins remarquable. Sans parler d'oeuvres largement connues telles que les livres de William Blake faits à la main ou la poésie visuelle contemporaine où le mot est remplacé entièrement par l'image. le caractère typographique lui-même, la mise en page (disposition du texte et sa position entre les marges), la couverture et aussi la texture du papier produisent de l'information additionnelle qui peut influencer notablement la lecture et l'appréciation du texte aussi que sa sémantique. les recherches dans ce domaine sont rares et destinées non pas aux linguistes ou culturologues mais surtout aux experts dans le domaine polygraphique. ainsi, le livre relativement récent du chercheur russe Yuri Gordon procure des informations uniques sur l'analyse comparative de deux écritures, cyrillique et latine, qui sont largement utilisées actuellement en russie. la première, immanente de la sémantique beaucoup plus riche, se trouve plus efficace pour la transmission de différentes informations verbales alors que la deuxième dont les caractéristiques graphiques sont moins intéressantes exige des efforts complémentaires à celui qui veut rédiger le texte aussi expressif. Ces faits doivent être pris en considération dans les différents domaines de la création du texte tels que les mass média, la publicité, les Pr lettres etc. le fait que le verbal et le paraverbal sont liés et interdépendants, exige la création de la théorie de l'intertextualité intersémiotique où le visuel n'est qu'un élément de la continuité intersémiotique et il peut être considérée soit comme influé par les parties de l'unité communicative tels que le verbal, plastique, audio, etc, soit comme influant luimême sur eux. les chercheurs qui essaient de fonder cette théorie doivent trouver les priorités pour le fonctionnement de tel texte synthétique multi-code ainsi que d'écrire le mécanisme de son fonctionnement. la tradition de cette théorie prend ses racines dans les œuvres romantiques visant à créer la théorie universelle de l'art et les réflexions de Richard Vagner sur le caractère synthétique de l'opéra. Certaines recherches actuelles dans ce domaine sont considérées comme efficaces. En Russie, notamment à Moscou et Kaliningrad, un groupe de chercheurs a taché de consolider les efforts précédents dans ce domaine et de leur donner une nouvelle vie pendant les deux dernières décennies du XX siècle. Suite à ces efforts mais tout à fait indépendamment le chercheur psycholinguiste russe alexandre Sonine a récemment fait l'analyse des textes verbaux visuels (publicité et bandes dessinées) et a démontré que les deux composantes du texte multi-code doivent coopérer afin de créer le sens de l'unité. ainsi l'auteur démontre que dans le cadre du traitement cognitive du texte multi-code composé de structures verbale et visuelle ce dernier détermine la représentation du contenu alors que la composante verbale tend à modeler le sens. autrement dit, au cours du processus de la perception du texte multi-code sa composante visuelle forme le contexte dans le cadre duquel l'information verbale doit être décodée et à son tour cette information doit aider à décoder l'information de la composante visuelle. la science cognitive fournit les fondements théoriques pour l'analyse du texte multi-code et permet de déterminer le rôle de la composante visuelle dans la formation de l'unité cognitive. la représentation sémantique du sens complet est formé probablement dans le cadre de ce que la théorie de l'intégration conceptuelle nomme " l'espace intégré " dont " les espaces d'entrée " sont créés par le contenu des composantes verbales et/ou visuelles de l'unité. Bien que la théorie de l'intégration conceptuelle de Gilles Fauconnier et Mark turner soit créée pour l'autre objectif, le potentiel de cette théorie pour le texte multi-code visuel et verbal a été richement illustré par Kennet Mcelhanon dans son oeuvre concernant la publicité commerciale. néanmoins le problème persiste : bien que nous puissions modeler facilement les processus au niveau mental, leur réalisation dans le texte pose le problème due au fait que l'espace qui sépare le verbal et le préverbal se trouve pour le moment hors de compréhension des savants. aujourd'hui les perspectives des recherches ultérieures ne manquent pas. Pour compléter les recherches d'alexandre Sonine sur la coopération des structures différentes du texte multi-code au niveau cognitif, d'autres théories doivent être prises en considération par exemple celle du chercheur israélien Mirra langleben qui montre intérêt pour les autres types du texte synthétique tels que verbal et musical. Dans ses études de la chanson classique elle démontre que la composante musicale de la structure globale forme une superstructure qui au cours du déroulement de la chanson restructure le sens du texte verbal ce qui est pareil aux changements des structures visuelles et verbales citées par Sonine. Pour répondre aux exigences de l'esthétique contemporaine les théories susmentionnées forment la théorie commune, à savoir la théorie de l'intertextualité, qui est susceptible de montrer comment la source se forme dans le cadre du texte multi-code. Destinée aux textes verbaux, cette théorie dans sa forme classique développée par le phylosophe et le critique littéraire Julia Kristeva peut être très utile pour expliquer comment les composantes de nature sémiotique différente coopèrent dans un texte multi-code. l'idée fondamentale de la théorie de l'intertextualité se trouve en corrélation avec les idées de richard Vagner et consiste à l'inter-annihilation du discours qui se confronte en engendrant l'intertexte qui produit le sens qui ne peut pas être réduit à la forme de ces composants de la structure sémantique. en développant les théories de ce type, les chercheurs peuvent travailler avec la quantité immense de textes où la sémantique se forme à partir des éléments de nature sémiotique différente et, en fait, avec tout texte de la Culture (littéraire, visuel, plastique, musical, etc), qui est par sa nature n'est rien d'autre que la manifestation de l'intertextualité synthétique et intersémiotique.
En somme, toute communication est considerée comme intersémiotique. le texte se présente ainsi comme une réalisation de deux systèmes de code au moins, même celui-ci qu'on considère traditionnelement comme basé sur un seul code. la communication verbale dans ces deux modèles de base, soit orale ou écrite, est aussi à plusieurs codes. ainsi, la présentation orale du texte mobilise toujours les aspects dits paraverbaux du discours comme le rythme, le timbre et l'intonation qui representent la plupart de l'information transmise et modèlent le message representé par le lexique et la syntaxe ou peuvent même inverser le contenu du discours quand on a recours à l'inontation ironique. l'analyse du discours qui est devenue très courante au cours des dernières décennies attache beaucoup d'importance aux aspects visuels et paraverbaux, c'est à dire à la pose et la gesticulation, et même aux vetements et à la conduite de celui qui parle. la manifestation du visuel à l'écrit réalisé avec de la typographie est aussi importante bien qu'elle soit moins remarquable. Sans parler d'oeuvres largement connues telles que les livres de William Blake faits à la main ou la poésie visuelle contemporaine où le mot est remplacé entièrement par l'image. le caractère typographique lui-même, la mise en page (disposition du texte et sa position entre les marges), la couverture et aussi la texture du papier produisent de l'information additionnelle qui peut influencer notablement la lecture et l'appréciation du texte aussi que sa sémantique. les recherches dans ce domaine sont rares et destinées non pas aux linguistes ou culturologues mais surtout aux experts dans le domaine polygraphique. ainsi, le livre relativement récent du chercheur russe Yuri Gordon procure des informations uniques sur l'analyse comparative de deux écritures, cyrillique et latine, qui sont largement utilisées actuellement en russie. la première, immanente de la sémantique beaucoup plus riche, se trouve plus efficace pour la transmission de différentes informations verbales alors que la deuxième dont les caractéristiques graphiques sont moins intéressantes exige des efforts complémentaires à celui qui veut rédiger le texte aussi expressif. Ces faits doivent être pris en considération dans les différents domaines de la création du texte tels que les mass média, la publicité, les Pr lettres etc. le fait que le verbal et le paraverbal sont liés et interdépendants, exige la création de la théorie de l'intertextualité intersémiotique où le visuel n'est qu'un élément de la continuité intersémiotique et il peut être considérée soit comme influé par les parties de l'unité communicative tels que le verbal, plastique, audio, etc, soit comme influant luimême sur eux. les chercheurs qui essaient de fonder cette théorie doivent trouver les priorités pour le fonctionnement de tel texte synthétique multi-code ainsi que d'écrire le mécanisme de son fonctionnement. la tradition de cette théorie prend ses racines dans les œuvres romantiques visant à créer la théorie universelle de l'art et les réflexions de Richard Vagner sur le caractère synthétique de l'opéra. Certaines recherches actuelles dans ce domaine sont considérées comme efficaces. En Russie, notamment à Moscou et Kaliningrad, un groupe de chercheurs a taché de consolider les efforts précédents dans ce domaine et de leur donner une nouvelle vie pendant les deux dernières décennies du XX siècle. Suite à ces efforts mais tout à fait indépendamment le chercheur psycholinguiste russe alexandre Sonine a récemment fait l'analyse des textes verbaux visuels (publicité et bandes dessinées) et a démontré que les deux composantes du texte multi-code doivent coopérer afin de créer le sens de l'unité. ainsi l'auteur démontre que dans le cadre du traitement cognitive du texte multi-code composé de structures verbale et visuelle ce dernier détermine la représentation du contenu alors que la composante verbale tend à modeler le sens. autrement dit, au cours du processus de la perception du texte multi-code sa composante visuelle forme le contexte dans le cadre duquel l'information verbale doit être décodée et à son tour cette information doit aider à décoder l'information de la composante visuelle. la science cognitive fournit les fondements théoriques pour l'analyse du texte multi-code et permet de déterminer le rôle de la composante visuelle dans la formation de l'unité cognitive. la représentation sémantique du sens complet est formé probablement dans le cadre de ce que la théorie de l'intégration conceptuelle nomme " l'espace intégré " dont " les espaces d'entrée " sont créés par le contenu des composantes verbales et/ou visuelles de l'unité. Bien que la théorie de l'intégration conceptuelle de Gilles Fauconnier et Mark turner soit créée pour l'autre objectif, le potentiel de cette théorie pour le texte multi-code visuel et verbal a été richement illustré par Kennet Mcelhanon dans son oeuvre concernant la publicité commerciale. néanmoins le problème persiste : bien que nous puissions modeler facilement les processus au niveau mental, leur réalisation dans le texte pose le problème due au fait que l'espace qui sépare le verbal et le préverbal se trouve pour le moment hors de compréhension des savants. aujourd'hui les perspectives des recherches ultérieures ne manquent pas. Pour compléter les recherches d'alexandre Sonine sur la coopération des structures différentes du texte multi-code au niveau cognitif, d'autres théories doivent être prises en considération par exemple celle du chercheur israélien Mirra langleben qui montre intérêt pour les autres types du texte synthétique tels que verbal et musical. Dans ses études de la chanson classique elle démontre que la composante musicale de la structure globale forme une superstructure qui au cours du déroulement de la chanson restructure le sens du texte verbal ce qui est pareil aux changements des structures visuelles et verbales citées par Sonine. Pour répondre aux exigences de l'esthétique contemporaine les théories susmentionnées forment la théorie commune, à savoir la théorie de l'intertextualité, qui est susceptible de montrer comment la source se forme dans le cadre du texte multi-code. Destinée aux textes verbaux, cette théorie dans sa forme classique développée par le phylosophe et le critique littéraire Julia Kristeva peut être très utile pour expliquer comment les composantes de nature sémiotique différente coopèrent dans un texte multi-code. l'idée fondamentale de la théorie de l'intertextualité se trouve en corrélation avec les idées de richard Vagner et consiste à l'inter-annihilation du discours qui se confronte en engendrant l'intertexte qui produit le sens qui ne peut pas être réduit à la forme de ces composants de la structure sémantique. en développant les théories de ce type, les chercheurs peuvent travailler avec la quantité immense de textes où la sémantique se forme à partir des éléments de nature sémiotique différente et, en fait, avec tout texte de la Culture (littéraire, visuel, plastique, musical, etc), qui est par sa nature n'est rien d'autre que la manifestation de l'intertextualité synthétique et intersémiotique.