Ancien élève de l'École polytechnique (69-72) et de l'École nationale supérieure des télécommunications (72-74), il est titulaire d'un DEA en mathématiques appliquées et d'un doctorat d'État en sciences physiques (Université Pierre et Marie Curie, 1982).

Professeur des universités (en classe exceptionnelle) en physique (30e section du CNU : milieux dilués et optique) à l'École Normale Supérieure de Cachan, Joseph Zyss est également chercheur au Laboratoire de Photonique Quantique et Moléculaire et directeur de l'Institut d'Alembert.
Ingénieur général des télécommunications, puis ingénieur général des mines en détachement dans l'enseignement supérieur depuis 1998, il a été chercheur au Laboratoire de Bagneux du Centre National d'Etudes des Télécommunications de 1975 à 1996, où il fut recruté par Daniel Chemla, un des pionniers mondiaux de l'optique non-linéaire, dont il fut l'élève jusqu'au départ de ce dernier aux États-Unis en 1981.
Il a fondé et dirigé de 1998 à 2005 le LPQM, première unité de recherche reconnue à l'ENS Cachan en tant qu'unité mixte de recherche CNRS en physique. Il reste membre du LPQM (dirigé depuis 2006 par Isabelle Ledoux, avec laquelle il est en partenariat de recherche depuis le milieu des années 80) où il codirige deux équipes de recherche, l'une avec Dominique Chauvat (maître de conférences) en nano-optique non-linéaire et l'autre, avec Mélanie Lebental (maître de conférences) dans le domaine des microcavités lasers à base de polymères. Il est également en interaction avec Chi Thanh Nguyen (ingénieur de recherche au CNRS) dans le domaine des applications télécoms et bio de la filière technologique de la photonique à base de polymères, ainsi qu'avec Isabelle Ledoux dans le domaine de l'ingénierie moléculaire pour l'optique non-linéaire.

Traditionnellement très ouvertes sur la chimie des matériaux (ingénierie physique de nouveaux matériaux pour la photonique), les activités en physique fondamentale et appliquée de Joseph Zyss concernent également depuis une dizaine d'années l'interface physique-biologie dans le domaine de la biophotonique : il a ainsi initié en 2002 puis dirigé jusqu'en 2014 l'Institut d'Alembert, une fédération de quatre laboratoires du CNRS à l'interface des sciences physiques (nanotechnologies et photonique) et des sciences de la vie (biologie cellulaire) qui constitue dans un grand champ pluridisciplinaire une expérience pilote exemplaire, ayant acquis une forte visibilité nationale et internationale. Dans le même esprit, il a créé en 2008, et codirige un Laboratoire International Associé "NaBi" associant le CNRS (au travers de trois entités coordonnées par l'Institut d'Alembert) au prestigieux Institut Weizmann (Rehovot, Israel) dans le domaine des nanobiosciences.

Ses recherches portent depuis la fin des années 70 sur la photonique moléculaire dont il est reconnu comme un des pionniers au niveau international en particulier pour les effets optiques non-linéaires dans les milieux moléculaires. Elles vont de la chimie-physique fondamentale jusqu'aux technologies et applications en composants à base de polymères pour les technologies de l'information ainsi qu'en imagerie biophotonique. Un de ses principaux apports est la conception et l'application de considérations fondamentales en théorie des groupes et algèbre tensorielle à l'ingénierie moléculaire de nouvelles molécules et matériaux pour l'optique non-linéaire, dits multipolaires, ainsi qu'à de nouvelles configurations d'interaction lumière-matière. Il a en particulier contribué, avec Sophie Brasselet qui fut sa première doctorante (1995-1997) dans le domaine au passage de l'optique non-linéaire à une phase active et non plus seulement de caractérisation physique, par le contrôle "tout-optique" de l'orientation moléculaire par interférence multiphotonique.

Il mène à Cachan des recherches ayant trait au renouveau de l'optique non-linéaire à l'échelle nanométrique (nouvelles configurations et nouveaux édifices de type "molécules quantiques" à cette échelle). Il a initié et codirige depuis une dizaine d'années une activité fondamentale et appliquée sur les microcavités laser, allant depuis l'amont de la physique non-linéaire et des phénomènes chaotiques jusqu'à l'aval d'applications originales plus récentes dans le domaine des capteurs biochimiques.

Il est l'auteur de plus de 300 publications dans le domaine et d'un portefeuille d'une vingtaine de brevets et s'honore d'avoir formé de nombreux étudiants de par le monde.

Joseph Zyss est très impliqué dans l'enseignement à l'École Normale Supérieure de Cachan à différents titres. Il contribue activement au renouveau pluridisciplinaire de l'enseignement de la physique à Cachan, en ouvrant cette discipline aux interfaces avec la chimie et la biologie et la physique appliquée, en particulier dans le cadre du master Erasmus Monabiphot où il enseigne chaque année plusieurs séries de cours, et dont il anime l'école d'été annuelle ainsi que le réseau de partenaires internationaux. Parmi ses autres enseignements, il a en particulier initié et enseigne un cours annuel de physique non-linéaire dans le cadre du master de physique Phytem (Cachan / Paris 6) qui combine de façon originale deux domaines généralement dissociés (régime de perturbations faibles, d'une part, et dynamique non-linéaire, d'autre part).

Il a reçu plusieurs distinctions, dont le titre de Fellow de l'Optical Society of America et les prix IBM et Yves Rocard de la Société Française de Physique, ou encore le Meierof fellowship de l'Institut Weizmann, un "Humboldt Research Award" décerné en 2010 et a été nommé "Centennial Professor" de l'Indian Institute of Science de Bangalore dans le cadre du centenaire de l'IISc en 2009.

Il a été visiteur à différents titres dans différentes institutions de recherche et d'enseignement supérieur tels que le MIT et l'Institut Weizmann. Il est actuellement membre du conseil de la recherche de l'École Centrale de Paris et du conseil d'administration de la fondation Pasteur-Weizmann.

Une constante notable et sans doute assez singulière de la carrière de Joseph Zyss est qu'il n'a jamais été appelé et nommé à un poste de direction d'une structure pré-existante. Du groupe de recherche à l'Institut pluridisciplinaire en passant par une UMR ou un département du CNET, il n'aura jamais fait que définir et créer des entités nouvelles "ab initio" (à la demande de différentes tutelles, France Telecom/CNET, ENS Cachan, ministères, CNRS, CNRS et Institut Weizmann etc.) pour en assumer ensuite la responsabilité.