Cependant, l’importance de l’immigration huguenote fut telle qu’après quelques années, la congrégation devint trop grande pour le bâtiment. En 1704, une nouvelle et plus grande église fut construite au coin des rues Pine et Nassau et fut appelée, pour la première fois, Le Temple du Saint-Esprit. Elle allait servir la paroisse pour les prochaines 130 années. L’église était un immeuble simple et rectangulaire, mesurant 50 pieds par 75. Elle était flanquée d’un cimetière et d’une clôture en bois qui bordait les rues. Elle jouissait d’une petite tour surmontée d’une coupole. D’après l’opinion générale, elle avait l’air d’une petite église campagnarde.

M. Peiret mourut en 1704, avant que la nouvelle église n’ait pu être terminée. Son successeur, Jacques Laborie, eut une période de service très brève à Saint-Esprit. M. Laborie avait reçu une formation téléologique à Zurich avant d’étudier la médicine à Londres. Il fut envoyé en Amérique par une association missionnaire anglicane. Après avoir assumé ses fonctions de pasteur, il commença à faire pression afin de persuader la paroisse d’adhérer à l’Eglise d’Angleterre. L’église refusant sa demande, il démissionna, deux ans après son arrivée et déménagea au Connecticut où, pour le reste de sa vie il poursuivit une carrière assez distinguée de médecin.

Louis Rou, qui succéda au Dr. Laborie, fut pasteur de Saint-Esprit pour les 40 années suivantes, jusqu’à son décès en 1750. Très lettré et respecté partout, il était doté d’une forte personnalité. Outre les nombreux volumes de sermons érudits, tous d’une mesure et d’une complexité caractéristiques de cette période, il écrivait également la poésie, tant sur des sujets religieux que séculaires. On lui attribue l’honneur d’avoir introduit le jeu d’échecs aux colonies. Grâce à son autorité et le grand nombre de Huguenots dans la ville de New-York, la paroisse prospéra durant la plus longue phase de son apostolat.

Cependant, autour des années 1730, l’adhésion de Saint-Esprit commença à chuter régulièrement et ce pour plusieurs raisons. Après le grand afflux de la période suivant la Révocation de l’Edit de Nantes, l’immigration huguenote vers les colonies américaines décrut au point d’atteindre un très petit nombre. Louis XIV mourut en 1715 et ses successeurs, bien qu’ils ne connaissaient pas encore la pratique de la religion réformée, ne possédaient pas non plus suffisamment de zèle pour vouloir la persécuter. Les Français émigrant pour des raisons de conscience furent peu nombreux au 18e siècle. Ces Huguenots venant en Amérique durant la grande période de l’immigration suivirent un parcours familier de travail assidu, de prospérité, et d’assimilation rapides. Beaucoup d’entre eux se distinguèrent auprès de leurs communautés et ce faisant, se virent cotoyés par d’autres églises plus grandes qui cherchaient avec empressement leur soutien et leur autorité. Les listes des congrégations anglaises et hollandaises au 18e siècle étaient remplies de noms de famille huguenots. Les enfants des immigrés ne se sentirent plus confortables à célébrer leurs louanges à Dieu en langue française. M. Rou se battit contre ces résistances avec un succès mitigé . Les revenus chutèrent et ne furent plus suffisants pour couvrir les dépenses. Au fur et à mesure que la congrégation diminuait, les anciens et membres restants se divisaient au sujet de problèmes mineurs. Lors de la mort de M. Rou, en 1750, Saint-Esprit se trouvait très affaibli par rapport à ce qu’elle avait été auparavant.

La période suivante fut la plus difficile de toute la longue histoire de la paroisse. Anciens et paroissiens se disputaient constamment et souvent se divisaient en factions opposées. Ces disputes furent bien connues dans la communauté avoisinante et, encore pire, auprès des églises réformées en Europe. Cet état d’affaires, avec celui de l’état précaire des finances de la paroisse, eut pour effet qu’aucun candidat qualifié de France ou de Suisse ne viendrait à New York servir comme pasteur. En l’absence d’un pasteur à plein temps, une succession de prédicateurs laïques essaya de garder intacte la congrégation, mais avec peu de succès. La vitalité de la congrégation fut dans un tel état de chute que, lors de la Révolution américaine, elle faillit pratiquement disparaître. Lorsque les Anglais envahirent New York, ils réquisitionnèrent le bâtiment de l’église pour en faire un entrepôt d’armements et de munitions. Les messes régulières de la paroisse cessèrent pendant presque 20 ans.

La renaissance de Saint-Esprit fut le fruit de circonstances propices en 1795. Un membre suisse du clergé, J. Louis Duby, de passage à New York, s’intéressa au triste état de l’Eglise française, et décida de faire ce qu’il pouvait pour la rétablir. Le bâtiment de l’église, dans un état délabré, ne pouvait pas être utilisé. La communauté protestante française était quasiment non-existante. La religion réformée avait été officiellement reconnue en France grâce à l’Edit de Tolération de janvier 1787 et durant la Révolution les réfugiés furent pour la plupart de noblesse catholique romaine. Seul un membre de l’époque avait survécu. M. Duby put néanmoins contacter un petit nombre de personnes de l’ancienne congrégation, suffisamment pour former un petit groupe. Une annonce fut placée dans un journal local demandant à toute personne intéressée à s’assembler dans le but de rétablir la paroisse. Une réunion eut lieu le 26 janvier, et du petit nombre présent, un nouveau consistoire fut élu. Le nouveau consistoire soumit ensuite un dossier de candidature pour incorporer l’église aux lois de l’Etat de New York. L’incorporation n’avait jamais été octroyée durant l’ère coloniale car Saint-Esprit ne faisait partie ni de l’Eglise d’Angleterre, officiellement établie, ni d’une des églises établies avant le règne anglais, telle que l’Eglise néerlandaise réformée. Il s’avéra que l’Eglise française manifesta plus d’angouement que les gens ne s’étaient imaginés et, encouragés par ce modeste succès, les membres du Consistoire demandèrent à M. Duby de devenir leur pasteur. Son projet étant de retourner en Suisse, il refusa l’offre, mais promit de chercher un candidat à son retour. Comme il l’avait promis, il trouva un jeune homme d’une trentaine d’années, Pierre Antoine Samuel Albert, qu’il recommanda avec enthousiasme. Les membres du Consistoire lancèrent un appel; M. Albert accepta et arriva à New York en provenance de Suisse en 1797. Il fut le dernier pasteur et le premier recteur de Saint-Esprit.