Із занепадом античної цивілізації та утворенням у Європі варварських держав, криптологія занепала. Велика шкода її розвитку була завдана в часи середньовічної інквізиції. Всі кращі досягнення цивілізації, а разом з ними й криптологія, були втрачені. За свідченням святого Джерома «увесь світ поринув у руїни». В умовах, коли грамотність була вкрай низька, зашифровувати повідомлення не було необхідності, тому й самих письмових повідомлень практично не було.
Так, король франків Карл Великий, засновавший у 800 році Священну Римську імперію, навчився читати й писати тільки у 50 років. Проте Карл Великий знав і використовував у листуванні зі своїми генералами шифр заміни букв алфавіту групою символів.
Освіта й грамотність у ті часи зосередилися в церкві, тому тайнопис став її монополією. Церква ухвалила, що простим парафіянам не можна приховувати таємниці від «Господа», а тайнопис – це «єресь». За використання тайнопису передбачалися жорстокі заходи покарання, аж до страти.
Крім вищеперерахованих причин, криптологія перебувала в занепаді ще й тому, що в ній бачили елементи чаклунства. Набір незрозумілих букв або символів, сам по собі схожий на заклинання, сприймався як щось магічне, а люди, що розуміли у цьому наборі символів зміст, розцінювалися як чаклуни або ворожки, що не могло не накласти свій відбиток на ставлення до них у християнській Європі.
З перших днів свого існування криптологія мала на меті сховати зміст важливих розділів письмових документів, що мали відношення до таких сфер магії, як гадання й заклинання. В одному з рукописів про магію, що датується III століттям н.е., був використаний шифр, щоб сховати важливі частини чаклунських рецептів. Криптографія часто була на службі магії в часи середньовіччя, і навіть в епоху Відродження за допомогою шифрів алхіміки засекречували важливі частини формул одержання «філософського каменя».
До шифрування інформації «призивалися» містичні сили. Так, наприклад, рекомендувалося використовувати «магічні квадрати». У квадрат розміром 4 х 4 вписувалися числа від 1 до 16. Його магія полягала в тому, що сума чисел по рядках, стовпцях і діагоналях дорівнювала одному й тому ж числу – 34. Уперше ці квадрати з'явилися в Китаї, де їм і була приписана деяка «магічна сила» (див. таблицю).
Для зашифрування слова «ЗАКАРПАТТЯ» букви вписувалися послідовно до квадрату згідно з записаними в них цифрами, а до пустих клітинок вписувалися будь-які букви (див. таблицю).
Після цього букви записувалися у рядок і отримувався такий шифротекст: ЖКАГРЯБТТПАВАЕДЗ. Даний шифр – це звичайний шифр перестановки, але вважалося, що особливу стійкість йому надають чари «магічного квадрата».
На перший погляд здається, начебто магічних квадратів дуже мало. Проте їхнє число дуже швидко зростає зі збільшенням розміру квадрата. Так, існує лише один магічний квадрат розміром 3х3, якщо не брати до уваги його повороти. Магічних квадратів 4х4 налічується вже 880, а число магічних квадратів розміром 5х5 близько 250000. Тому магічні квадрати більших розмірів могли бути гарною основою для надійної системи шифрування того часу, тому що ручний перебір всіх варіантів ключа для цього шифру був немислимий.
Подібність між магією та криптологією обумовлювалася й іншими факторами. Крім криптології, таємничі символи використовувалися в зрозумілих лише присвяченим сферах магічних знань – астрологія та алхімія, де подібно знакам відкритого тексту, кожна планета й кожна хімічна речовина мали спеціальний знак. Як і зашифровані слова, заклинання й магічні формули, начебто «абракадабри», нагадували нісенітницю, але в дійсності мали важливе значення.
Те, що писали або малювали астрологи та маги, було схоже на кодограму, де кожний символ або ієрогліф мав своє особисте як екзотеричне (матеріальне), так і езотеричне (духовне) значення. Наприклад, символ Сонця – це індивідуальність та духовність, Місяця – м'якість та душевність, Меркурія – мислення та інтелектуальність, Венери – жіночість та кохання, Марса – мужність та активність, Юпітера – законослухняність та релігійність, Сатурна – самотність та цілеспрямованість тощо. Навіть місця символів, де вони були намальовані, теж визначали їх вплив на події життя та взаємовідносини з іншими чинниками долі. А те, що одним малюнком (гороскопом) можна відобразити долю та все життя людини або країни, здавалося справжньою магією чи чаклунством.
Думка про те, що криптоаналіз є також за своєю суттю якоюсь магією, складалася у зв'язку з поверхневою подібністю криптоаналізу та гадання. Добування істинного змісту з шифротексту здавалося точно такою ж справою, що й одержання знань шляхом вивчення розташування зірок і планет, довжини ліній і місць їхнього перетинання на долоні, нутрощів овець, положення кавового осаду в чашці. Видимість брала гору над реальністю. Простодушні люди бачили магію навіть у звичайному процесі розшифрування. Інші бачили її в криптоаналізі, тому що розкриття чогось глибоко захованого здавалося їм незбагненним і надприродним.
Не таким сильним був занепад криптології у Візантії, що зберегла багато античних традицій. Але й тут криптосистеми дуже спростилися та були легко вразливими. Найчастіше повідомлення просто писали у зворотньому порядку або заміняли кожну букву на наступну за алфавітом. Для засекречування повідомлень також використовували маловідомі іноземні мови, найчастіше вірменську або давньоєврейську. Але в цілому, у порівнянні з епохою античності, криптологія перебувала на вкрай низькому рівні.
В середньовічному Китаї у трактаті «Основи класичної військової науки», складеному в XI столітті нашої ери, були присутні лише кодувальні рекомендації. В них рекомендувалося співвіднести з різними простими повідомленнями перші 40 знаків якого-небудь вірша, відомого як відправнику, так і одержувачу. По першому знаку вірша, поставленому в домовленому місці цілком безневинного повідомлення, одержувач «зчитував» інформацію, наприклад, що потрібно послати більше провіанту. Такі коди практично не піддавалися розшифруванню, але вони могли використовуватися лише в дуже обмеженому масштабі.
Деякі окремі релігійні організації використовували особистий алфавіт як одно-алфавітний шифр заміни. Так, шифри тамплієрів і розенкрейцерів були дуже схожими та знайшли своїх шанувальників в особі масонів (деякі дослідники, зокрема, О.П.Блаватська, так їх і називали – «масонський»). Масонський шифр використовувався їхніми «ложами» для таємного листування між присвяченими вищих ступенів.
У XVIII столітті франкмасонами використовувався для забезпечення таємності своїх документів так називаний шифр «Pigpen». У ньому кожна буква замінялася визначеним символом таким чином: щоб зашифрувати букву, визначалося її місцезнаходження в одній з чотирьох сіток, а потім малювалася та частина сітки, що відповідала цій букві.
2. Становлення криптології як науки
В арабському світі криптологія не тільки не занепала, але продовжувала успішно розвиватися, досягши значних успіхів. Про тайнопис і його значення говорилося навіть у казках «Тисячі й однієї ночі». У 855 році арабський письменник, алхімік і єгиптолог Абу Бакр Ахмед ібн Вахш (Ахмад Бін Абубекр Бін Вахіші) описав відомі йому класичні шифралфавіти у своїй «Книзі про велике прагнення людини розгадати загадки давньої писемності» (араб. Kitab Shawq al-Mustaham). Видання арабського тексту з англійським перекладом з'явилося лише у 1806 році.