После защиты магистерской диссертации Каптерев был избран доцентом по кафедре Древней гражданской истории. По этому предмету он затем читал лекции на протяжении последующих тридцати лет, причем его собственные научные интересы лежали совсем в другой области.
В 1876–1878 годах он преподавал географию в Сергиево-Посадской гимназии. Одновременно с преподавательской деятельностью Н.Ф. Каптерев приступил к изучению взаимосвязей Московского царства с Церквами Православного Востока. Молодой ученый потратил почти десять лет на изучение греческих и турецких дел, статейных списков, грамот, донесений и других рукописных источников, хранящихся в Московском архиве Министерства иностранных дел Российской империи. «Но как подойти к столь обширной теме при подавляющем обилии архивного материала? От правильного и целесообразного ответа на этот вопрос зависел во многом и самый результат первого опыта освещения ранее почти никем не обследованного материала». Автор подошел к изучению поставленного вопроса с точки зрения той публицистической литературы, какая совершенно отчетливо выразила свою точку зрения на религиозно-культурную и политическую роль Московского государства после Флорентийской унии и завоевания Константинополя турками»[3]. В 1881–1882 годах он опубликовал в «Чтениях Общества Любителей Духовного просвещения» три научные статьи по изучаемой им тематике: «Русская благотворительность Синайской обители в XVI–XVII и XVIII столетиях», «Русская благотворительность монастырям Св. Горы
Афонской в XVI–XVIII столетиях», «Следственное дело об Арсении-греке и ссылка его в Соловецкий монастырь», из которых первые две включены в данное издание.
В 1883 г. по представлению помощника ректора Академии профессора Н.И. Субботина Н.Ф. Каптерев переводится на должность экстраординарного профессора и в этом же году приступает к напечатанию в «Чтениях Общества любителей духовного просвещения» (1883–1884) своего труда, основанного на архивных изысканиях, под названием «Характер отношений России к православному Востоку в XVI и XVII столетиях». Печатание третьей главы этого труда «Перенесение в Москву святыни с Востока» было временно приостановлено цензурой на том основании, что она дискредитирует святыни, хранящиеся в московских церквях и монастырях, однако вскоре вновь возобновляется по приказу митрополита Московского Иоанникия как труд, целиком основывающийся на данных архивных документов.
Таким образом, в 1885 г. вышло первое издание этого монументального исследования, по сию пору непревзойденного в отечественной науке по степени охвата и проработки материала. В этом своем первом крупном научном труде Каптерев по-новому рассмотрел причины и ход церковных реформ царя Алексея Михайловича и патриарха Никона. Его выводы о причинах возникновении раскола Русской Церкви существенно отличались от оценок этого сложного периода нашей истории, сделанных всеми предшествующими поколениями отечественных исследователей. В том же 1885 г., 15 февраля, книга была представлена Совету Академии в качестве диссертации на соискание степени доктора церковной истории. В присуждении искомой степени было отказано на основании резких возражений профессора Н.И. Субботина, издавшего очень важные для понимания истории старообрядчества «Материалы для истории раскола за первое время его существования». В девяти томах «Материалов», а затем в возглавляемом им периодическом издании «Братское Слово», в бесчисленных изданиях старообрядческих источников и в своих монографиях Н.И. Субботин собрал бесконечное количество документов, писем, биографий и «житий», полемических трактатов и исторических работ, написанных самими раскольниками. Субботин, таким образом, требовал изменить ту часть работы, где Каптерев делает критические замечания по поводу реформ Никона. Дело в том, что Николаю Федоровичу удалось обнаружить материалы, уличающие главного справщика русских церковных книг Арсения-грека в том, что он действительно изменял Православию, будучи одно время иезуитом, а затем и вовсе приняв ислам. Субботин же, основываясь на общепринятом тогда мнении, полагал, что в этих преступлениях Арсений был обвинен ложно.
Данное место работы Каптерева было, таким образом, перепечатано в нескольких экземплярах книги, вновь поданной на рассмотрение Совета 6 августа 1885 г. Одиннадцатого октября Совет Академии, заслушав отзыв на исследования Н.Ф. Каптерева, зачитанный профессором Голубинским, постановил присудить соискателю искомую степень. Постановление Совета Академии ушло на утверждение в Святейший Синод, где ему не давали хода в течение трех лет, а затем, после смещения ректора Академии С.К. Смирнова и замены его ей. Христофором, последовало отрицательное решение относительно присуждения докторской степени Каптереву. Его вынес сам обер-прокурор Св. Синода К.П. Победоносцев на том основании, что автор непочтительно отзывается о матери Церкви Русской Греческой Православной Церкви. Суждение Победоносцева, вероятно, подсказанное ему противником Каптерева Субботиным, было не вполне правильным по форме выражения, ибо Каптерев нигде открыто не порицал Греческую Церковь как таковую, однако верным по сути, поскольку его работа (а также и последующие) содержит большое количество негативного материала о многих представителях греческого духовенства, что в целом создает у читателя весьма неблагоприятную и не вполне адекватную картину состояния Греческой Церкви вообще. Определение Синода основывалось на том, что Н.Ф. Каптерев в своем исследовании опирался на случайные и искусственно подобранные факты и сделал несостоятельные выводы и заключения, непочтительно отозвался о Греческой Церкви и ее иерархах, а также дал основание раскольникам-старообрядцам найти оправдание их ложным взглядам. Этому решению предшествовала борьба внутри Академии между теми, кто поддерживал Н.Ф. Каптерева и кто стоял на стороне Н.И. Субботина, причем последний действовал не научными методами, доказывая свою правоту, а путем интриг и апелляции к начальству. В результате профессор-протоиерей С.К. Смирнов, поддерживавший Н.Ф. Каптерева, был смещен с поста ректора Академии, а на его место был назначен Волоколамский епископ Христофор (Смирнов), «нанесший ей большой урон, особенно нравственной обстановке. Несомненно, это событие отразилось и на судьбе докторской диссертации Н.Ф. Каптерева»[4]. Отмена решения Святейшего Синода о присуждении Н.Ф. Каптереву докторской диссертации и практическое запрещение его книги вызвало ответную реакцию научной общественности. Императорская Академия наук наградила в том же 1888 году Николая Федоровича за его книгу престижной Уваровской премией.
В своей книге Н.Ф. Каптерев «осветил такие важные и интересные моменты в истории России и в ее отношении к Востоку, как то: учреждение патриаршества в России, роль русского царя и правительства в деле материальной поддержки Православия на Востоке, злоупотребление со стороны ряда представителей Востока царской милостыней и борьбу с ним, русское благочестие, воззрения на греков и эволюция этих воззрений. Труд очень важен своими правдивыми характеристиками целого ряда ученых-греков, игравших немаловажную роль в деле Патриарха Никона»[5]. Н.Ф. Каптерев доказательно изложил свой взгляд на неудачную попытку создания в Московском царстве в XVII веке системы образования, основанного на греческом религиозном и светском знании, а также тщетные потуги греков контролировать духовную жизнь русского общества, что вызвало поворот реформ царя Петра I в сторону европейской науки. «С этого времени греки волею или неволею должны были признать за Россией право на первенство в Православном мире не во имя только ее материальной силы и могущества, но и во имя ее культурного развития, которое, начавшись со времени Петра усвоением западной науки, поставило русских и в культурном отношении гораздо выше их бывших учителей-греков»[6].