PANN: Новая Технология Искусственного Интеллекта. Учебное пособие - Злотин Борис

PANN: Новая Технология Искусственного Интеллекта

Учебное пособие

Борис Злотин

Владимир Маценко

Редактор Анатолий Гин

© Борис Злотин, 2024

© Владимир Маценко, 2024

ISBN 978-5-0062-7522-5

Создано в интеллектуальной издательской системе Ridero

Ключевые слова

уникальные свойства

прозрачность функционирования

простая математическая модель

низкая стоимость внедрения и пользования

От авторов

Авторы: Борис Злотин, разработавший теоретические основы теории PANN и программных продуктов на ее основе, и Владимир Маценко, реализовавший группу этих продуктов и участвовавший в создании и тестировании теории,  выражают благодарность тем, кто помогал в этой работе и внес серьезный творческий вклад:

 Дмитрию Песчанскому, нашедшему общую идею нового подхода к конструкциям нейронных сетей.

ТРИЗ-специалистам Владимиру Просянику, Анатолию Гину, Сергею Фаеру, Олегу Гафурову и Алле Зусман, активно поддерживавших разработку PANN своим опытом, знаниями и талантами.

Ивану Ивановичу Негрешному  за конструктивную критику, помогавшую увидеть и исправить недостатки.

Часть 1.

Новый вид нейронных сетей: Progress Artificial Neural Network (PANN)

1. Введение в проблему

Откуда взялись нейронные сети и чем они нас не устраивают?

Начало развитию искусственных нейронных сетей положили работы Тьюринга, Мак-Каллока, Питтса и Хебба. На основе их идей Фрэнк Розенблатт в 1958 г. создал первую искусственную нейронную сеть «Персептрон», способную после соответствующего обучения распознавать и на основе распознавания классифицировать разные объекты. К сожалению, в самой концепции персептрона была заложена критическая ошибка, основанная на господствовавшей тогда биологической доктрине Дэйла: «нейрон использует один и только один нейромедиатор для всех синапсов». Эта доктрина была перенесена во все искусственные нейросети в виде правила: «один искусственный синапс использует один и только один синаптический вес». Это правило можно назвать доктриной Розенблатта.

В 70-х гг. XX века доктрина Дэйла была отвергнута биологией. А доктрина Розенблатта, к сожалению, до сегодняшнего дня остается неизменной для всех нейронных сетей («рекуррентных», «резонансных», «глубоких», «сверточных», «LSTM», «генеративных», сетей прямого и обратного распространения ошибки и т. п.). Именно она заставляет применять при тренинге сетей итерационный подход, известный как метод градиентного спуска (gradient descent method), требующий огромного объема вычислений. И именно эта доктрина «виновата» в невозможности построить адекватную рабочую теорию нейронных сетей. А также в том, что эти сети характеризуются непрозрачностью и непонятностью, сравнительно низкой скоростью обучения, сложностью доучивания и множеством других «врожденных» проблем. Подробнее о проблемах классических нейронных сетей см. Приложение 1.

Поэтому развитие таких сетей идет в основном методом проб и ошибок. А это ведет к сложности и малой надежности, необходимости использования очень дорогого оборудования, проведения энергоемких вычислений и дорогостоящей ручной работы для обучения.

2. Научно-технические основы сети PANN

В данной главе мы расскажем об основных конструктивных и научных особенностях сети PANN.

PANN отличается от классических нейронных сетей иной конструкцией главного элемента: так называемого формального нейрона. Новый формальный нейрон позволяет использовать другой способ обучения. В результате:

1. Работа сети стала совершенно прозрачной. Стало возможным построить простую и ясную теорию, предсказывающую результаты действий с нею.

2. PANN может быть реализована на недорогом оборудовании. Расходы на ее обучение и функционирование во много раз меньше, чем у классических нейронных сетей.

3. PANN обучается во много раз быстрее классических нейронных сетей.

4. PANN может в любое время доучиваться.

5. У PANN отсутствует вредный эффект «переобучения».

2.1. НОВАЯ КОНСТРУКЦИЯ ФОРМАЛЬНОГО НЕЙРОНА

Классические нейронные сети построены из типовых «кирпичей»  формальных нейронов простой конструкции, описанных Мак-Каллоком и Питтсом и реализованных Розенблаттом. И главная проблема нейронных сетей  неудачная конструкция этого формального нейрона.

Формальный нейрон Розенблатта имеет один синаптический вес. Главным отличием PANN является формальный нейрон Progress с двумя или более синаптическими весами на каждом синапсе.

Рис. 1. Сравнение формальных нейронов

На нейроне Progress, как и на нейроне Розенблатта, входные сигналы проходят к сумматору через единственный синаптический вес. Но на нейроне Progress выбор этого веса осуществляется дистрибьютором по величине входного сигнала.

Главные характеристики, описывающие нейрон Progress

 Нейрон Progress оперирует с имиджами, в качестве которых рассматриваются любые числовые (цифровые) последовательности. Такими имиджами могут быть картинки, фильмы, тексты, записи звуков, таблицы, графики и т. п.

Каждый нейрон Progress связан со всеми входами в сеть. Число входов равно числу цифр в рассматриваемой цифровой последовательности (имидже). Для имиджей в растровой графике это число пикселей. Например, при разрешении 16 × 16 число входов I = 256, при разрешении 32 × 32 число входов I = 1024.

Число синаптических весов нейрона Progress не менее двух. При работе с черно-белой графикой и простыми таблицами возможно использовать только 2 веса («0» и «1»). При работе с цветными картинками можно использовать любые графические представления, например палитры из 2, 4, 8, 16, 256 и т. д. цветов (весов). Следует отметить, что для эффективного распознавания разных типов имиджей существуют свои оптимальные палитры, которые несложно определить простым тестированием. При этом проявляется неожиданное свойство PANN  оптимальное для распознавания число цветов обычно мало, в экспериментах это число получалось обычно в районе от 6 до 10.

Число входов  это число членов рассматриваемой цифровой последовательности. Для имиджей в растровой графике это  число пикселей, которое должно быть одинаковым для всех рассматриваемых имиджей. Например, при разрешении 16 × 16 число входов I = 256, при разрешении 32 × 32 число входов I = 1024. При работе с картинками можно использовать любые соотношения сторон прямоугольных картинок. Следует отметить, что, аналогично, для эффективного распознавания разных типов имиджей существуют свои оптимальные разрешения, которые несложно определить простым тестированием. При этом проявляется неожиданное свойство PANN  оптимальное для распознавания число пикселей обычно невелико, например для распознавания разного рода портретов часто наилучшим оказывается разрешение всего 32 × 32.

Рис. 2. Однонейронная двухуровневая сеть PANN

Рис. 3. Однонейронная многоуровневая сеть PANN