Каталог :: Информатика

Курсовая: Нейрокомпьютеры

Введение

Наряду с развитием персональных ЭВМ, сетей ЭВМ и высокопроизводительных суперЭВМ традиционной архитектуры в последние годы существенно повысился интерес к разработке и созданию компьютеров нетрадиционного типа и, прежде всего, нейрокомпьютеров. Связано это с тем, что, несмотря на высокую производительность современных суперЭВМ, приближающуюся к предельно допустимой, все еще остается много практически важных проблем, для решения которых нужны более мощные и более гибкие вычислительные средства. Они необходимы для глобального моделирования процессов в экосистемах, при решении задач нейрофизиологии, искусственного интеллекта, метеорологии, сейсмологии и т. п. Необходимы они и при создании систем управления адаптивных интеллектуальных роботов. Бортовые ЭВМ таких роботов должны воспринимать большие объемы информации, поступающей от многих параллельно функционирующих датчиков, эффективно обрабатывать эту информацию и формировать управляющие воздействия на исполнительные системы в реальном масштабе времени. Более того, управляющие компьютеры интеллектуальных роботов должны оперативно решать задачи распознавания образов, самообучения, самооптимизации, самопрограммирования, т. е. те задачи, которые весьма сложны для традиционных ЭВМ и суперЭВМ. Поэтому остается актуальной необходимость в поиске новых подходов к построению высокопроизводительных ЭВМ нетрадиционной архитектуры. Среди таких подходов центральное место занимает нейрокомпьютерный подход. Его суть состоит в разработке принципов построения новых мозгоподобных архитектур сверхпроизводительных вычислительных систем – нейрокомпьютеров. Подобно мозгу, такие системы должны обладать глобальным параллелизмом, самообучением, самооптимизацией, самопрограммированием и другими свойствами биологических систем. Ожидается, что нейрокомпьютеры в принципе смогут решить многие из тех проблем, которые сдерживают дальнейшее развитие научно- технического прогресса. По современным представлениям нейрокомпьютер (НК) – это система, предназначенная для организации нейровычислений путем воспроизведения информационных процессов, протекающих в нейронных сетях мозга. Структурной единицей НК служит специфический процессор – нейропроцессор (НП), имитирующий информационное функционирование отдельных нервных клеток – нейронов. Нейропроцессоры связываются друг с другом в нейроподобные структуры, имитирующие нейронные сети мозга. По этой причине, чем точнее НП воспроизводит информационную деятельность нервных клеток, и чем ближе конфигурации искусственных нейронных сетей к конфигурациям сетей естественных, тем больше шансов воспроизвести в НК самообучение, самопрограммирование и другие свойства живых систем. С точки зрения вычислительной техники, каждый нейропроцессор представляет собой специализированное процессорное устройство, реализуемое программным, аппаратным или программно-аппаратным способом. В то же время это устройство имеет ряд особенностей. Во-первых, НП воспроизводит не произвольно выбранный набор операций, а только те операции, которые биологически обусловлены и необходимы для описания процессов переработки информации в нервных клетках. Во-вторых, при аппаратной реализации нейропроцессоров они, подобно нейронам мозга, связываются друг с другом индивидуальными линиями передач последовательных кодов. При большом числе процессорных элементов такая связь более эффективна, чем связь нейропроцессоров по общей шине или посредством индивидуальных параллельных шин. Эти и другие особенности НП позволяют выделить их в самостоятельный класс процессорных устройств вычислительной техники. 1. Нервные клетки и их модели Нервная система (НС) человека и животных является важнейшей консолидирующей системой организма. Ее основная функция заключается в поддержании внутренней гармонии организма и в организации его приспособительной деятельности в изменяющихся условиях внешней среды. НС имеет клеточную структуру и состоит из клеток – нейронов, сгруппированных в нейронные ансамбли и сети. Центральным отделом нервной системы является головной и спинной мозг. С точки зрения кибернетики мозг представляет собой информационно-управляющую систему, которая при помощи рецепторов воспринимает информацию о внешней среде, обрабатывает эту информацию на основе генетической программы и индивидуального опыта, а также формирует управляющие воздействия на эффекторные (исполнительные) системы организма. Данной структуре соответствует хорошо известная специализация нервных клеток на сенсорные (рецепторные), вставочные (интернейроны) и эффекторные (мотонейроны) нейроны. Рецепторные нейроны воспринимают энергетические воздействия внешней среды той или иной модальности (световые, акустические, тактильные и т. п.) и преобразуют их в импульсные потоки, передаваемые интернейронам. Взаимодействующие друг с другом интернейроны осуществляют обработку поступившей информации, а мотонейроны передают результаты этой обработки непосредственно на исполнительные системы организма (мышцы, сосуды, железы внутренней секреции и т. п.). По форме нервные клетки существенно отличаются друг от друга, однако большинство нейронов имеет древовидную структуру, состоящую из компактного тела с рядом отростков (волокон). Короткие ветвящиеся веточки называются дендритами, а длинный, расщепляющийся на терминальные волокна отросток называется аксоном. Тело клетки (сома) имеет микроскопические размеры от 5 до 100 микрометров, а длина ее отростков может достигать десятков сантиметров. Например, у крупных млекопитающих и человека аксоны некоторых клеток при толщине от 10 до 20 мкм имеют длину до метра. Однако и сома и ее отростки представляют собой единое целое, покрытое общей оболочкой (мембраной). Как и любая другая клетка организма, нейрон и его отростки имеют единую внутриклеточную среду, общий генетический аппарат и общую систему поддержания жизнедеятельности. Специфическая особенность нервных клеток заключается в способности воспринимать, преобразовывать и передавать на другие клетки нервное возбуждение в виде нервных импульсов. Входные импульсы поступают на дендриты или сому и оказывают на клетку либо возбуждающее, либо тормозное воздействие. В те моменты, когда суммарное возбуждение клетки превышает некоторую характерную для нее критическую величину, называемую порогом, в области аксона возникают нервные импульсы – спайки или, как их еще называют, потенциалы действия. Возникнув, спайк бездекрементно (без затухания) распространяется по аксону, поступает на дендриты других клеток и вызывает их возбуждение или торможение. Такая связь называется аксо-дендритной, причем возбуждающий или тормозящий характер воздействия нервного импульса определяется свойствами контакта двух клеток. Этот контакт называется синаптическим, а пространство между мембранами контактирующих клеток называется синаптической щелью. Количество синаптических входов у отдельного интернейрона достигает 150 тысяч. Поэтому общее число межклеточных контактов очень велико. Например, в мозге человека при 1011 нейронах количество связей между ними оценивается астрономическим числом 1014. Если дополнительно учесть, что синаптические связи имеют электрический и химический характер, что наряду с аксо-дендритными связями возможны синаптические контакты между дендритами, сомами и аксонами различных клеток, что каждая связь может быть возбуждающей или тормозной, а также то, что эффективность синаптических связей в процессе жизнедеятельности меняется, то грандиозная сложность нейронных сетей у высокоразвитых животных и человека становится очевидной. В настоящее время установлено, что мозг, судя по всему, основан на принципе относительно жестко запаянного блока, состоящего из сложно организованных нейронных сетей, работающих в миллисекундном диапазоне. Более детальное изучение этих сетей осложняется специфическими свойствами нервной ткани, содержащей помимо нервных клеток и другие клетки, которые поддерживают нейрон механически и участвуют в процессах их метаболизма и проведения спайков. В целом, нервная ткань представляет собой бесцветную студенистую массу, в которой даже под микроскопом трудно различить отдельные нейроны и состоящие из них сети. Поэтому в современной нейроанатомии применяют специальные методы окрашивания нервной ткани. В частности, используются красители, которые избирательно воздействуют лишь на некоторые нейроны и окрашивают их целиком. Окрашенная таким образом ткань замораживается, разрезается на тонкие слои и изучается под микроскопом. В процессе изучения удается выделить отдельные нейроны в сетях плотно упакованных нервных клеток, волокна которых тесно переплетены в густую чащу с промежутками 0,01 мкм. Более того, удается не только различать отдельные клетки, но и находить их связи друг с другом, как в локальных областях нервной ткани, так и в различных, далеко отстоящих друг от друга частях мозга. Однако получаемые при этом сведения не являются полными и не позволяют делать однозначных выводов о конфигурациях и законах функционирования изучаемых нейронных сетей. Эти сведения приходится дополнять данными других исследований, а именно тех, которыми занимается нейрофизиология. Основным нейрофизиологическим подходом к исследованию мозга в настоящее время служит микроэлектродная методика. Ее суть заключается в том, что в живую ткань мозга вживляются микроэлектроды, с помощью которых регистрируется электрическая активность отдельных клеток. Однако использование этой методики для изучения высокоразвитых животных связано с рядом трудностей. Размеры электродов по сравнению с микроскопически малыми телами клеток велики, а возможности их миниатюризации ограничены. Поэтому микроэлектродные исследования могут искажать нормальную работу изучаемых структур. Вживление электродов осуществляется вслепую и не всегда ясно, работу каких клеток характеризуют снятые с них сигналы. Кроме того, клеток много, а электродов мало. Поэтому получаемая с их помощью информация является фрагментарной. С целью преодоления отмеченных трудностей в нейробиологии вообще и в нейрофизиологии в частности широко применяют метод биологического моделирования. В соответствии с этим методом для изучения сложных структур мозга высокоразвитых животных используют достаточно простые нервные системы таких беспозвоночных, как черви, моллюски, кальмары, раки и т. п. Нейронные структуры беспозвоночных содержат сравнительно мало нейронов, упакованных в нервные узлы - ганглии. Ганглии, в свою очередь, содержат от 100 до 1000 клеток. Сами клетки у беспозвоночных крупнее, чем у млекопитающих, а их положение в ганглиях и межнейронные связи более определены. Рассмотренный подход к изучению нервной системы внешне напоминает хорошо известный в технике метод физического моделирования. В соответствии с этим методом сложный для изучения объект заменяется менее сложным, но эквивалентным исходному по сути изучаемых явлений. Однако в случае нейробиологии о собственно физическом моделировании можно говорить лишь в том случае, когда исследуются такие свойства нервной ткани, как электропроводность внутриклеточной среды, электрическая емкость и сопротивление мембран, механизм генерации спайков и т. п. Эти свойства, судя по всему, являются фундаментальными и не зависят от вида животного. В то же время механический перенос данных о структуре и свойствах нейронных сетей простых животных, например беспозвоночных, на нервную систему высокоразвитых млекопитающих вряд ли является корректным. Поэтому для изучения информационных процессов в сложных нейронных сетях необходимы современные методы математического и кибернетического моделирования. Причем результаты экспериментов на простых организмах могут использоваться в данном случае в качестве исходных гипотез для построения адекватных кибернетических моделей мозга. Такой подход позволяет уже сейчас создавать искусственные нейронные сети и строить кибернетические модели информационных процессов в мозге более сложных животных вплоть до человека. Учитывая то, что экспериме6нты на мозге людей нельзя проводить по морально-этическим соображениям, путь создания кибернетических моделей с целью получения экспериментальных сведений о структуре и функциях человеческого мозга представляется весьма перспективным. Конечной целью при этом могут служить не только новые сведения о мозге, о механизмах его самооптимизации, самоорганизации, самопрограммирования, но и новые идеи, необходимые для построения нетрадиционных мозгоподобных суперЭВМ – нейрокомпьютеров. 2.Математическая модель информационных процессов в нейроне
(1)
Согласно мембранной теории возбуждения нервных клеток, закон изменения мембранного потенциала аксона может быть описан следующим дифференциальным уравнением первого порядка:
где P(t) – мембранный потенциал участка аксона; H – локальный сдвиг мембранного потенциала за счет поступления внешнего воздействия; C – удельная емкость мембраны; q[P(t)] – проводимость мембраны участка аксона. Экспериментально установлено, что если мембранный потенциал P(t) остается ниже некоторой пороговой величины QП, то проводимость мембраны практически не меняется. Однако в те моменты времени, когда под влиянием внешних раздражителей H потенциал P(t) достигает величины порога QП, электрически управляемые белки открывают свои шлюзы, что приводит к резкому изменению проводимости мембран. Аналитически данное обстоятельство можно выразить следующим образом:
(2)
где qK(t) – переменная проводимость мембраны по отношению к ионам калия; qNa(t) – переменная проводимость мембраны по отношению к ионам натрия. Однако ввиду того, что аксон является составной частью клетки, а его мембрана является клеточной мембраной, вполне убедительно мнение о возможности распространении этой теории на нейрон в целом, и в частности, на аксонный холмик, где осуществляется запуск потенциала действия. При таком подходе в качестве правой части уравнения (1) можно использовать не только локальный сдвиг мембранного потенциала H, но и внутриклеточный потенциал V(t), формируемый за счет синаптических процессов в дендритном дереве и соме нейрона. Наиболее распространенная математическая модель данного процесса представляет собой алгебраическую сумму произведений всех входных потенциалов действия на соответствующие синаптические веса:
(3)
где Vвхj(t) – выходной потенциал действия, поступающий на j-й синапс; N – количество синаптических контактов нейрона; gj – вес j-го синапса. Если синапс возбуждающий, то соответствующий ему весовой коэффициент имеет положительный знак, в противном случае - отрицательный. Абсолютная величина этого коэффициента учитывает эффективность синапса (размеры синаптического контакта, место его расположения на дендрите или соме, расстояние от аксонного холмика и т. п.). Учитывая отмеченные обстоятельства, математическую модель электрической активности нервных клеток, отражающую их информационную деятельность, можно представить в следующем виде:

В принципе модель (4) может быть использована для построения искусственных нейронов и нейронных сетей. Однако ее техническая реализация существенно затруднена нелинейным характером уравнения (1).
С целью преодоления этой трудности воспользуемся соотношением (2) и представим уравнение (1) в виде совокупности двух выражений, а именно линейного уравнения подпороговых изменений мембранного потенциала P(t)-Qп < 0 и надпорогового процесса формирования потенциала действия в виде функции f(t), аппроксимирующей форму спайка: где ti – моменты возникновения спайков, т. е. те моменты времени t, при которых выполняется нестрогое равенство P(t)- Qп ³ 0. В качестве кривой, форма которой близка к форме нервного импульса, может служить график хорошо известной в теории связи функции вида:
где T – период синусоидальной зависимости, стоящей в числителе.
(5)
Учитывая свойства функции f(t), нервный импульс можно описать следующим образом: где ti – моменты времени, определяющие начало генерации очередных нервных импульсов (i=0, 1, 2,...); Vи - амплитуда нервного импульса; tи –длительность нервного импульса. При вычислении моментов ti необходимо воспроизводить в модели абсолютную и относительную рефрактерность нервных клеток. Суть абсолютной рефрактерности заключается в том, что во время tи генерации спайка нейрон абсолютно невозбудим для приходящих в это же время входных воздействий, а в последующий период относительной рефрактерности возбудимость нейрона хотя и затруднена, но принципиально возможна. С целью моделирования рефрактерности введем такой переменный во времени порог Q(t), максимальное значение Qи которого в моменты ti нарушает условие возбуждения и удерживает нейрон некоторое время в абсолютно невозбудимом состоянии, после чего Q(t) постепенно возвращается к величине Qп в соответствии с уравнением
(6)
где t - постоянная времени мембраны нервной клетки; Qп – порог покоя; Qм – максимально возможное значение порога. Условие возбуждения нейрона примет следующий вид: P(t) - Q(t) ³ 0 (7)
(8)
С учетом отмеченных обстоятельств получаем следующую математическую модель информационных процессов в нервной клетке:
Первое уравнение системы (8) воспроизводит процесс пространственной суммации возбуждающих и тормозных входных воздействий Vвх(t), поступающих в момент времени t на все синаптические контакты нейрона. Второе уравнение моделирует процесс входной суммации входных воздействий в области аксонного холмика и отражает кумулятивные свойства нейрона. Третье, четвертое и пятое соотношения описывают процесс генерации спайков с учетом условия возбуждения нейрона (7), его рефрактерности и формы генерируемых импульсов. Рассмотренная модель (8) довольно точно отражает современные нейрофизиологические представления об информационной деятельности нервных клеток. Кроме того, она проще исходной модели (4), поскольку не содержит нелинейного уравнения (1). Все это позволяет использовать ее в качестве основы для построения искусственных нейронов и нейронных сетей, воспроизводящих подпороговые и надпороговые процессы спайковой активности с учетом формы нервных импульсов. Воспроизведение рефрактерности и формы спайков, в свою очередь, весьма актуально при организации биоуправляемых экспериментов, поскольку организация таких экспериментов предполагает согласование входных и выходных параметров сопрягаемых естественных и искусственных нейронов. Однако в случае моделирования информационных процессов в сетях взаимосвязанных интернейронов, которые не должны взаимодействовать с естественными нейронами, алгоритм (8), а также реализующий его искусственный нейрон могут быть существенно упрощены. Так, с целью упрощения модели (8) прежде всего, учтем тот экспериментально установленный факт, что ни амплитуда нервных импульсов, ни их форма не участвуют в кодировании информации, передаваемой от клетки к клетке. Следовательно, без ущерба для информационной адекватности модели (8) ее биологическому прототипу спайк Vвых(t) можно аппроксимировать не функцией (5), а более простым прямоугольным импульсом e(t) единичной амплитуды и длительности, равной tи. Очевидно, что при этом как сама модель, так и ее технический аналог заметно упрощается. Далее учтем и то, что единственным достоверно установленным на сегодняшний день информативным параметром выходных спайков является величина их межимпульсных интервалов, т. е. частота следования нервных импульсов в функции от величины возбуждения нервной клетки. Таким образом, в качестве выходных величин нервных клеток следует рассматривать не сами спайки и, естественно, не аппроксимирующие их сигналы прямоугольной формы e(t), а частоты их следования, которые в свою очередь отражают степень возбуждения нейрона в каждый момент непрерывного времени t. Более того, выходная функция Z(t) нейрона может быть представлена при этом либо в виде частоты следования сигналов e(t), либо непосредственно в виде аналоговых величин или цифровых кодов, отражающих степень возбуждения нервной клетки. При таком подходе три последних уравнения математической модели (8) можно заменить одним уравнением следующего типа: Z(t) = max{0, k[P(t) - Qп]}, (9) где Z(t) – частота, пропорциональная возбуждению P(t) - Qп нейрона либо кодирующая ее аналоговая или цифровая величина; k – коэффициент пропорциональности; max{0, k[P(t) - Qп]} – функция, выделяющая те интервалы изменения P(t), на которых справедливо нестрогое равенство P(t)³ Qп. Очевидно, что если функция (9) является выходной, то для взаимосвязанных и взаимодействующих нейронов значения Z(t) должны служить и в качестве входных. Обозначая входные величины как xj(t), представим алгоритм информационных процессов в нервной клетке в виде более простой, чем (8), но эквивалентной ей математической модели:
(10)
где xj(t) – аналог интенсивности входных воздействий, поступающих на j-й вход нейрона с синаптическим весом gj; V(t) – аналог потенциала, характеризующего суммарное входное воздействие, получаемое в результате пространственной суммации; P(t) – аналог мембранного потенциала нейрона; Qп – аналог постоянного порогового потенциала нервной клетки; a =1/t; b=aki ; ki – коэффициент пропорциональности при V(t); Zmax - максимально возможное значение Z(t), определяемое абсолютной рефрактерностью моделируемой клетки. Вводя в систему (10) обозначение возбудимости нейрона в виде функции y(t) = P(t) – Qп, (11) получим идеализированную математическую модель информационных процессов в нервной клетке, которая имеет следующий вид:
(12)
где Q = aQп; gj(t) – синаптический вес, величина которого может изменяться во времени под воздействием внешних факторов, например из-за аксо-аксонных взаимодействий. Как и в модели (8), первое уравнение системы (12) описывает процесс пространственной суммации входных воздействий, но не в форме единичных спайков, а в более общей форме величин, имеющих смысл мгновенных частот их следования. Второе уравнение описывает закон изменения возбудимости нейрона y(t), а третье – определяет процесс формирования выходных величин, характеризующих текущее возбуждение нервной клетки. Математическую модель (12) можно использовать для построения нейроподобных элементов и цифровых нейропроцессоров. 3.Модели адаптивных процессов в нейроне Адаптация, или приспособление к изменяющимся условиям внешней среды, является одним из наиболее важных свойств всего живого. Это свойство проявляется не только на уровне всего организма, но и на уровне отдельных его подсистем, отдельных клеток и внутриклеточных образований. На этом основании были разработаны модели нейронов, описывающие адаптивные реакции нейрона. Суть таких реакций заключается в плавном понижении частоты выходной импульсации в ответ на продолжительное стационарное внешнее воздействие, имеющее вид ступенчатой функции. Переходная характеристика адаптивной модели в этом случае соответствует кривой 1 на рисунке 1. Кривая 2 на том же рисунке обозначает реакцию на то же входное воздействие V(t) неадаптивного нейрона. Другим типом адаптивных реакций являются так называемые “on”, “off” и “on–off” ответы нервных клеток. Они наиболее характерны для рецепторных нейронов зрительного анализатора и возникают при световом раздражении сетчатки глаза. По виду переходные характеристики “on”, “off” ответов отличаются от кривой 1 на рисунке 1 тем, что при возрастании времени t они довольно быстро стремятся к нулю, а не к некоторой, отличной от нуля, постоянной величине. Последнее обстоятельство приводит к выводу о возможности воспроизведения адаптивных “on”, “off” ответов путем дифференцирования реакций неадаптивного нейрона, а именно кривых типа 2 на рисунке 1. Действительно, в этом случае выходные импульсные последовательности будут появляться в моменты начала и окончания ступенчатого входного воздействия, что и соответствует “on”, “off” ответам нейрона. Легко показать, что такой простейший механизм адаптивного поведения можно воспроизвести при помощи математической модели (12) практически без ее усложнения.
Рис. 1. Переходные характеристики. Пусть суммарное входное воздействие V(t), поступающее на синаптические входы нейрона, представляет собой ступенчатый сигнал h, определяемый соотношением:
(13)
Тогда при Q = 0 и b = 1 второе уравнение системы (12) примет вид
Решением уравнения (13) является функция график которой совпадает с переходной характеристикой неадаптивной модели нейрона. Именно по этой причине устройство, реализующее алгоритм (12), может использоваться как искусственный неадаптивный нейрон. Однако, если в качестве выходной величины неадаптивной модели нервной клетки использовать не функцию Z(t), а абсолютные значения дифференциалов dy(t), то выходная реакция такой модели на входное ступенчатое воздействие будет описываться соотношением
(14)
Нетрудно видеть, что график функции (14) качественно не отличается от переходной характеристики модели, реализующей “on” и “off” ответы нейронов. Последнее обстоятельство позволяет утверждать, что для моделирования простейших адаптивных реакций нервных клеток рецепторного типа достаточно воспроизводить первые два уравнения модели (12), а выходы организовать в соответствии с получаемым из (12) соотношением где Q – неизменный во времени порог. В то же время, по мнению нейрофизиологов, более сложные механизмы адаптивного поведения нейронов основаны на изменении их пороговых свойств. В соответствии с другими представлениями изменение порога клетки происходит в зависимости от изменения входной активности нейрона. Модель, воспроизводящую второй механизм, называют адаптивной по входу. Очевидно, что могут иметь место динамические нейроподобные элементы, адаптивные как по входу, так и по выходу одновременно. Строятся такие модели на основе следующих рассуждений. Для построения на основе алгоритма (10) математической модели адаптивной обработки информации в нейроне будем исходить из того, что, по мнению физиологов, механизм адаптивного поведения нервных клеток связан с изменениями порога Q. В связи с этим используем уравнение (6), но не для формирования спайков как в модели (8), а для воспроизведения адаптивных реакций нейрона. При этом будем полагать, что при адаптации по выходу мембранный потенциал клетки сравнивается с переменным порогом Q(t), закон изменения которого имеет вид
(15)
Используя уравнение (15) в алгоритме (10), получим нейроподобную модель с адаптацией по выходу:

В случае адаптации по входу в правой части уравнения (15) вместо Z(t) необходимо использовать функцию P(t). Поэтому нейроподобная модель с адаптацией по входу несколько отличается от модели (16) и имеет следующий вид:
(17)
Очевидно, что для модели с адаптацией как по входу, так и по выходу будем иметь:

В системе уравнений (18) порог Q(t) зависит как от входной величины h2P(t), так и от выходной h1Z(t) активности нервной клетки. Причем полагая h2 = 0, h1 ¹ 0, получим модель с адаптацией только по входу. Более того, при h1 = h2 = t2 = 0 и R(t)–Q = y(t) получим исходную неадаптивную модель (10). Иными словами, модель (18) более универсальна, чем неадаптивная модель (10), и по этой причине может быть использована для построения искусственных нейронов, воспроизводящих как адаптивные, так и неадаптивные реакции. Однако структура искусственного нейрона при этом также усложняется. Поэтому прежде чем решить вопрос о целесообразности подобного усложнения, необходимо учесть мнение физиологов о том, что нервная клетка является лишь структурной единицей мозга и в полной мере обладает далеко не всеми свойствами биологических систем. В частности, многие физиологи полагают, что адаптивные реакции типа привыкания, как и многие другие функции нервной ткани, реализуются не отдельными нейронами, а их совокупностями в процессе совместной корпоративной деятельности. В связи с этим наряду с понятием нейрона, как структурной единицы нервной системы, в современной нейрофизиологии используется понятие о ее функциональной единице, в качестве которой выступает не отдельный нейрон, а некоторая совокупность нервных клеток, называемая нейронным ансамблем. В простейшем случае нейронный ансамбль состоит из двух взаимосвязанных нейронов, один из которых выполняет основные функции, а второй – вспомогательные (усиление, торможение, модификация процессов в основном нейроне и т. д.). При таком подходе систему уравнений (18) можно рассматривать как модель информационных процессов не в отдельной клетке, а в гипотетическом двухнейронном ансамбле, основной нейрон которого реализует алгоритм (10), а вспомогательный воспроизводит процесс модификации порогового потенциала основного нейрона в функции от его входной и выходной активности. Алгоритм вспомогательного нейрона при этом может быть представлен в следующем виде:
(19)
где x1 = P(t) – пространственный потенциал дендритного дерева основного нейрона, поступающий на вспомогательный нейрон при помощи дендритных связей; x2 = Z(t) – выходная активность основного нейрона, заводимая на вспомогательный нейрон при помощи аксосоматической связи; Qп – порог покоя вспомогательного нейрона, совпадающий с порогом покоя нейрона основного; W(t) – соматический выход вспомогательного нейрона, поступающий на сому основного нейрона через сомасоматический контакт.
С учетом алгоритма (19), модель информационных процессов в основном нейроне принимает вид: Таким образом, с целью воспроизведения адаптивных реакций вместо усложнения структуры отдельного искусственного нейрона можно идти путем создания адаптивных нейроподобных ансамблей, состоящих из устройств, реализующих более простую неадаптивную модель (10), (12). Важная особенность этой модели состоит в том, что на ее основе могут строиться не только искусственные нейроны и нейроподобные ансамбли с адаптивными реакциями типа “on”, “off” ответов и функцией привыкания, но и такие субклеточные информационные процессы, как облегчение синаптической передачи. Суть облегчения заключается в том, что при увеличении интенсивности входных воздействий на некоторый синапс происходит повышение его интенсивности, т. е. повышается его способность к еще более интенсивной передаче возбуждений на постсинаптическую мембрану. И, наоборот, при уменьшении интенсивности входных воздействий (при уменьшении использования синапса в некоторой нейрональной информационной цепи) его эффективность падает. Модификацию синаптической передачи можно связать с такими изменениями синаптических весов gj , при которых все величины gj становятся прямо пропорциональными частотам следования соответствующих входных импульсаций xj(t). Тогда интенсивность синаптической передачи будет соответствовать идее облегчения, т. е. при увеличении интенсивности входных воздействий соответствующие коэффициенты gj будут увеличиваться, а при ее уменьшении – уменьшаться.
(20)
В качестве математической модели данного процесса можно использовать уравнение, подобное (15), но записанное относительно переменного во времени синаптического веса gj (t): где tс – постоянная времени изменения синаптического веса; gп – синаптический вес покоя (при отсутствии x(t)).
Если в уравнении (20) положить x(t) = h, где
(21)
то его решением будет служить функция
Из выражения (21) следует, что т. е. для больших x синаптический вес больше, для меньших – меньше. Иными словами модель (20) действительно может служить моделью такого процесса, как облегчение синаптической передачи. Резюмируя изложенное приходим к выводу, что модели учитывающие пространственно-временную суммацию, т. е. модели типа (10), (12) являются достаточно универсальными и могут быть положены в основу построения различных нейроподобных элементов, ансамблей и сетей. 4.Формальные нейроны Наиболее простой физически реализуемой информационной моделью нервной клетки является формальный нейрон (ФН). В основе построения формальных нейронов лежит представление о нервной клетке как о логическом элементе, работающем по принципу «все или ничего». Предполагается, что между клетками возможны аксо- дендритные синаптические взаимодействия. Входные и выходные спайки аппроксимируются при этом единичными импульсами прямоугольной формы e(t) или единичными потенциалами и считается, что выходная функция является логической функцией от входных булевых переменных, а также от синаптических весов gj(t)=gj и порога Qп, принимающих целочисленные значения. Обычно формальный нейрон определяется как пороговый логический элемент со следующими основными свойствами: 1. Он имеет N синаптических входов, которые могут быть возбуждающими (gj>0) или тормозными (gj<0) при j=1, N; 2. Состояние элемента исследуется в равноотстоящие элементы дискретного времени ti = t0 + idt (i=1, 2, ... , dti = ti-1 – шаг квантования времени t); 3. Независимо от количества поступивших в момент времени ti на входы ФН единичных сигналов xj (ti ) элемент осуществляет задержку выходного сигнала на один шаг dt дискретного времени ti , т. е. Z(ti+1) = F[xj (ti ), gj , Qп ]; 4. Каждый из входов xj (ti ) и выход Z(ti+1) могут находиться в возбужденном (xj (ti ) = 1, Z(t i+1) = 1) или невозбужденном (xj (ti ) = 0, Z(t i+1) = 0) состоянии; 5. Формальный нейрон имеет порог возбуждения Qп. Если алгебраическая сумма поступающих в момент времени ti возбуждающих и тормозящих входных воздействий gjxj (ti ) равна или больше Qп , то Z(t i+1) = 1. В противном случае Z(ti+1) = 0. Алгоритм формального нейрона получается из модели информационных процессов в нейроне (10) в результате учета того, что при формально-логических представлениях P’(t)=0, gj (t)= gj – const. По этой причине математическая модель (10) упрощается и принимает вид
Далее, для простоты положим a=b и запишем систему (22) в виде одного уравнения: Если теперь дополнительно учесть, что Z(ti+1), xj (ti )Î{0, 1}, то получим хорошо известный алгоритм формального нейрона: Z(ti+1)=sign ky(ti), (24) где y(ti) = ågj xj (tj) – Qп;
(26)
(25)
Пусть в алгоритме (24) gjÎ{0, 1}. Тогда ФН реализует довольно простые логические функции. Например, при Qп =1, k = 1 будем иметь
а при Qп =N, k = 1получим Иными словами, изменяя величину порога Qп при gjÎ{0, 1} и k = 1, будем менять вид логической функции Z(ti+1). Если же kÎ{0, 1}, то функции (25), (26) принимают вид
В тех случаях, когда синаптические веса gjÎ{0, 1, –1} или принимают другие целочисленные значения, реализуемые формальным нейроном функции усложняются. Блок-схема формального нейрона приведена на рисунке 2. Она содержит два блока: блок пространственной суммации (ПС) и блок формирования выходной функции sign ky(ti), который, в свою очередь, может быть построен по импульсному или статическому типу. В первом случае при выполнении условия возбуждения нейрона (ky(ti)³0) на выходе появляется единичный сигнал Z(ti+1) = e(t) априори заданной длительности t. После окончания этого сигнала ФН переходит в невозбужденное состояние и остается в нем до следующего выполнения условия возбуждения. Во втором случае при выполнении условия ky(ti)³0 нейрон переходит в единичное состояние и остается в нем до нарушения условия возбуждения. В целом формально-логическая модель нейрона далека по своим возможностям от ее естественного прототипа и не отражает всех его свойств, в частности не учитывает процессов, протекающих на мембране нейрона. Данное обстоятельство служит основанием для перехода к более совершенным нейроподобным элементам динамического типа. 5.Динамические нейроны Наиболее важным отличием нейроподобных элементов динамического типа – динамических нейронов (ДН) от формальных нейронов является не столько учет в них временной суммации (P’(t)¹0), сколько переход принципа «все или ничего», характерного для отдельных спайков, к градуальному способу кодирования информации. В соответствии с градуальным кодированием полагается, что выходной величиной нейрона служит интенсивность выходных спайков, которая, в свою очередь, зависит от количества и интенсивности входных сигналов, а также от величины порога нервной клетки. То обстоятельство, что в качестве входных и выходных величин при этом используются непрерывные зависимости, позволяет представить информационные процессы в нервной клетке в дифференциальной форме, т. е. в виде модели (10) или (12). Блок-схема динамического нейрона, работающего в соответствии с алгоритмом (12), приведена на рисунке 3. Наряду с пространственным сумматором ПС1, формирующим сумму V(t) произведений gjxj(t), и пространственным сумматором ПС2, вычисляющим производную y’(t), в схеме ДН предусмотрен интегрирующий блок И для определения функции y(t), а также выходной блок ВБ, формирующий выходную зависимость Z(t). В тех случаях, когда b=1и k = 1, сумматоры ПС1 и ПС2 можно объединить и представить схему на рисунке 3 в более простом виде, а именно так, как это показано на рисунке 4. Если теперь реализовать схему 4 на сопротивлениях, диодах и емкостях, то получим простейшую аналоговую модель динамического нейрона.

Рис. 2. Формальный нейрон.

Рис. 3. Динамический нейрон, работающий в соответствии с алгоритмом 12

Рис.4. Динамический нейрон, упрощенный вариант. Рассмотренные схемы могут строиться как на дискретных, так и на интегральных элементах, а также в виде больших интегральных схем, содержащих десятки и сотни ДН на кристалле. Эти схемы довольно просты и компактны, но характеризуются неконтролируемым изменением параметров в функции от температуры и других внешних факторов. Данное обстоятельство затрудняет их использование в нейроподобных сетях больших размерностей. Более того, такие элементы не позволяют создавать практически приемлемые схемы с переменными во времени синаптическими весами и переменным порогом, т. к. Управляемое изменение электрических сопротивлений связано с определенными техническими трудностями. Все это стимулирует разработку и создание цифровых схем динамических нейронов, свободных от указанных недостатков. 6.Цифровые модели нейронов Одно из важных направлений в области построения цифровых нейроподобных элементов связано с программированием универсальных ЭВМ, микроЭВМ, персональных ЭВМ для реализации на них алгоритмов как отдельных нейронов, так и их совокупностей, воспроизводящих информационные процессы в нейронных ансамблях и нейронных сетях. Особых проблем при программировании систем уравнений, основанных на алгоритмах типа (12), как правило, не возникает. Однако имитация сугубо параллельных нейрофизиологических процессов на последовательных ЭВМ связана с большими временными затратами, что не всегда приемлемо с практической точки зрения. Поэтому применение ЭВМ классической архитектуры для реализации сетей динамических нейронов весьма ограничено, особенно в тех случаях, когда цифровая модель должна работать в реальном масштабе времени, например при организации биоуправляемых экспериментов по замене части нервной ткани ее имитационной моделью. Другая трудность использования ЭВМ для моделирования нейронов и нейронных сетей состоит в том, что любое изменение связей в моделируемой сети ведет к необходимости составления новых программ. Все это вынуждает искать способы построения таких цифровых устройств, которые, с одной стороны, программно и аппаратно ориентированы на воспроизведение алгоритма обработки информации в отдельной нервной клетке, а с другой – пригодны для организации на их основе параллельных перестраиваемых нейроподобных ансамблей и структур. Подобные устройства могут строиться на базе современных однокристальных и секционированных микропроцессоров (МП). Получающиеся при этом структуры цифровых нейронов (ЦН) приобретают стандартный вид и могут быть представлены в виде схемы, показанной на рисунке 5.

Рис. 5. Структура цифрового нейрона. Данная структура состоит из микропроцессорного устройства МПУ и подключенных к нему N портов ввода Пввj (j = 1, N) и одного порта вывода Пв. Она соответствует тому случаю, когда параметры gj ,b, k нейроподобной модели являются постоянными. Предполагается также и то, что программа алгоритма (12) хранится в постоянном запоминающем устройстве ПЗУ, а параметры, которые не меняются в процессе работы конкретной модели цифрового нейрона, но могут быть различными у разных ЦН, хранятся в оперативной памяти МПУ. Входные величины xj(ti) в дискретные моменты времени ti = ti-1+dti (i = 1, 2, ...) записываются в соответствующие порты ввода Пввj рассматриваемого ЦН. Поступают они с портов вывода других ЦН или из внешних сенсорных устройств в цифровой форме и хранятся в Пввj в течение времени форме dti выполнения алгоритма (12). После завершения работы алгоритма (12) в порт вывода записывается значение функции Z(tj+1), которое в момент времени ti+1 по жестким или перестраиваемым каналам связи передается в порты ввода других цифровых нейронов. Рассмотренная схема цифрового нейрона является довольно простой и ее проектирование сводится по существу к программированию МП на языке ассемблера. Однако техническая реализация нейроподобных сетей, состоящих из таких ЦН, связана с определенными трудностями. Во-первых, информация между различными ЦН передается в параллельных кодах, что, в свою очередь, усложняет каналы передачи, особенно в тех случаях, когда связи между нейронами необходимо оперативно менять при помощи устройств электронной коммутации. Упрощение коммутирующих устройств за счет организации передачи информации между ЦН в последовательных кодах ведет к существенной потере производительности как отдельных нейроподобных элементов, так и нейроподобной сети в целом. Во-вторых, время работы отдельных ЦН существенно зависит от количества синаптических весов. Если у различных ЦН число N различное, то и время их работы будет различным. Следовательно, ЦН с минимальным числом входов будет использоваться неэффективно. И в-третьих, существенные трудности возникают в том случае, когда синаптические веса модели нейронов являются переменными во времени. Для формирования текущих значений gj(ti ) необходимо включить N дополнительных портов ввода, в которые следует записывать не сами синаптические веса, а их приращения. Отмеченные обстоятельства являются серьезным обстоятельством не пути создания удобных в эксплуатации цифровых нейроподобных элементов на базе микропроцессоров и микроЭВМ универсального типа. По этой причине возникает необходимость в разработке ЦН на основе специализированных устройств, ориентированных на воспроизведение алгоритма (12). Одним из перспективных подходов при этом может служить использование для синтеза ЦН идей и методов построения цифровых моделей на базе интегрирующих структур ЦИС. Это связано с тем, что в основе моделируемых динамических нейрональных процессов лежат дифференциальные зависимости, а ЦИС, в свою очередь, проблемно-ориентированны на решение систем линейных и нелинейных дифференциальных уравнений. Кроме того, цифровые интегрирующие структуры состоят из параллельно функционирующих решающих блоков, информация между которыми передается в виде последовательностей дискретных сигналов, имеющих смысл приращения выходных зависимостей. Отдельные решающие блоки реализуют операции суммирования, численного интегрирования, экстраполяции выходных приращений и, как правило, снабжены коммутационными элементами. Благодаря этому на решающих блоках ЦИС могут быть построены цифровые динамические нейроны, реализующие алгоритм (12) с переменными синаптическими весами и соединяемые друг с другом при помощи гибкой электронной коммутации. Следовательно, такие элементы будут свободны от недостатков микропроцессорных ЦН. 7.Операции в цифровых интеграторах Вышеперечисленные операции могут быть выполнены на элементной базе ЦИС. В состав этой базы входят комбинационные сумматоры, цифровые интеграторы и нелинейные блоки. Цифровой интегратор представляет собой устройство, осуществляющее численное интегрирование подынтегральной функции y(t). Аргумент t предварительно квантуется с постоянным шагом dt=ti–ti-1 (i=1, 2,...), начиная с t0. Поэтому для произвольного значения ti будем иметь ti=t0+idt. Функция y(ti)= yi, определяемая на множестве дискретных значений ti, является решетчатой. Для данной функции вместо дифференциального применяется разностный оператор, в частности построенный на основе первых разностей. Эти разности могут быть нисходящими (интерполяция) и восходящими (экстраполяция). В случае нисходящих разностей имеем Dyi=yi+1–yi или yi=yi+1–Dyi, а в случае восходящих разностей – Ñyi=yi–yi-1 или yi=yi-1+Ñyi.
В теории цифровых интегрирующих структур используются восходящие разности и считается, что цифровой интегратор на каждом временном интервале Ñt=dt=ti–ti-1 вычисляет приращение Wi интеграла W Римана: При использовании простейшей формулы численного интегрирования – формулы Эйлера для интеграла Римана будем иметь ÑWi»yi-1Ñt.
При интегрировании в соответствии с более сложным интегралом Стилтьеса, когда интегрирование ведется по некоторой функции yq(t), получим Таким образом, при использовании формулы Эйлера отдельный цифровой интегратор реализует аппаратным методом следующие уравнения: yi=yi-1+Ñyi; ÑWi+1=yiÑyq(i+1).

В связи с тем, что значение приращения Ñyq(i+1) в i-м шаге неизвестно, его либо экстраполируют, например по линейному закону: либо принимают равным Ñyqi. В тех случаях, когда Ñyqi =Ñt, цифровой интегратор воспроизводит численное интегрирование по Риману yi=Ñyi-1+Ñyi; ÑWi+1 =yiÑt. Очевидно, что при постоянном шаге Ñt экстраполяция приращений независимой переменной t не требуется. 8.Структура цифровых интеграторов Структура ЦИ, инвариантная относительно интегрирования по Риману или по Стилтьесу, может быть представлена в виде схемы, показанной на рисунке 6.

Рис.6. Структурная схема ЦИ Цифровой интегратор состоит из двухвходового сумматора См, регистра Рг, множителя Мн и квантователя Кв, формирующего квантованные приращения ÑWi+1. Суть квантования состоит в том, что при умножении n-разрядных величин yi на m-разрядные величины Ñyq(i+1) получаются n+m разрядные приращения ÑWi+1. Для того, чтобы эти приращения можно было использовать в качестве m-разрядных значений Ñyi , Ñyq(i+1) на входах того же или другого ЦИ, необходимо из n+m разрядов выделить m старших. Такое выделение называется квантованием. Математически его можно записать так: ÑWi+1=П[ÑWi]m – приращение интеграла; Oi =O[ÑWi]n – остаток квантования. С целью уменьшения погрешности, возникающей при квантовании (округлении) величин ÑWi, остатки Oi, как правило, при квантовании не отбрасываются, а учитываются в соответствии со следующим алгоритмом: ÑWi+1=П[ÑWi + Oi-1]m ; Oi =O[ÑWi + Oi-1]n. Схема квантователя Кв1, реализующего данный алгоритм, приведена на рисунке 7.

Рис.7. Квантователь Предполагается, что приращения ÑWi, ÑWi+1 представлены в последовательных кодах, а длительности сигналов Ио, Ип и временные соотношения между ними выбраны так, чтобы на выходе квантователя появлялись m-разрядные квантованные приращения ÑWi+1, а в регистре Рг0 формировались n-разрядные остатки. В дальнейшем процедуру квантования будем обозначать оператором Ф. Тогда в случае квантования с сохранением остатков запишем: ÑWi+1=Ф[ÑWi + Oi-1]= ÑWi + Oi-1– Oi; а при квантовании с сохранением остатков будем иметь ÑWi +1=Ф[ÑWi]= ÑWi – Oi. Схема квантователя без сохранения остатков имеет более простой, чем на рис. 7, вид (рис.8):
Рис.8 Квантователь (без сохранения остатков) В дальнейшем будем полагать, что в качестве квантователя используется схема Кв1. Условное графическое обозначение ЦИ с таким квантователем приведено на рис. 9.
Рис.9. Цифровой интегратор, условное обозначение Интегратор без квантователя, отдельный квантователь (Кв), интегратор с квантователями на входах и экстраполятор приращений (Э) будем обозначать так, как это показано на рис. 10 (а, б, в, г) соответственно.

а) Интегратор без квантователя б) Отдельный квантователь

в) Интегратор с квантователями на входах
г) Экстраполятор приращений Рис. 10. Условные обозначения 9.Нейроэлементы на основе цифровых интеграторов Для построения НЭ на базе цифровых интеграторов и сумматоров используем математическую модель информационных процессов в нейроне, предварительно представив ее в дифференциальной форме:

После квантования аргумента и перехода к восходящим разностям, получим разностный алгоритм динамического НЭ:
Цифровой нейроэлемент, воспроизводящий этот алгоритм на основе ЦИ, приведен на рис. 11, где знак Å в последнем правом ЦИ обозначает операцию выделения положительных значений kyiÑt(max{0; k(yiÑt)}). Рис. 11. Цифровой нейроэлемент Если положить b=0, то схема цифрового НЭ упрощается и принимает вид, показанный на рис.12.

Рис. 12. Цифровой нейроэлемент, упрощенная схема Временная диаграмма информационных процессов, протекающих в этой схеме, может быть представлена так, как это показано на рис. 13, где полагается, что приращения являются одноразрядными, т. е. m=1, Ñt=2–n. Из рисунка видно, что цифровой НЭ действительно воспроизводит рассмотренную ранее модель информационных процессов в нейроне. Рис. 13. Временная диаграмма 10. Динамический цифровой нейроподобный элемент как нейроподобный процессор Рассмотренные формальные и динамические искусственные нейроны воспроизводят лишь отдельные фрагменты информационной деятельности нервных клеток. Реализуются они структурным способом на элементной базе цифровой или аналоговой техники. Такие нейроны узкоспециализированы и по этой причине не могут служить процессорными элементами нейронных сетей. Однако если их строить на основе разностного алгоритма динамического нейрона, то появляется возможность создания универсальных нейроэлементов процессорного типа– цифровых нейропроцессоров (ЦНП). Операционный базис ЦНП включает такие специфические операции, как формальный нейрон, суммирующий нейрон, динамический нейрон и т. п., а также такие крупные математические операции, как скалярное произведение двух векторов, цифровое интегрирование и другие.
Действительно, рассмотрим разностный алгоритм цифрового динамического нейрона, реализуемого на цифровых интеграторах с многоразрядными приращениями, т. е. такими приращениями Ñq Î {Ñt, Ñy, ÑW}, которые принадлежат диапазону –1<Ñq<1. Для удобства анализа представим этот алгоритм в виде двух уравнений:
(27)
и будем считать, что неравенство Zi+1£Zmax выполняется автоматически из-за ограниченности разрядной сетки регистров цифровых схем. Как следует из алгоритма (27), при b=1 цифровой нейроподобный элемент воспроизводит рассмотренную ранее математическую модель информационных процессов в нервной клетке с постоянным значениями параметров a, Q, g, k. Однако техника цифровых интеграторов позволяет довольно просто изменять во времени не только синаптические веса g, но и коэффициент k, порог Q и даже такой параметр, как a. В связи с этим представляет интерес анализ потенциальных возможностей алгоритма (27) при различных значениях его параметров и прежде всего параметра инерционности a (0£a£1), а также при различных величинах шага Ñt.
Положим a=1, Ñt=1. Тогда система уравнений (27) принимает более простой вид:
(28)
(29)
(30)
Решение системы (28) может быть представлено в виде одного равенства:
В свою очередь, из соотношения (29) следует, что при Ñt=a=1 алгоритм (27) становится алгоритмом элемента, выполняющего функции цифрового сумматора, который осуществляет выделение положительных элементов алгебраической суммы
умноженной на коэффициент k. Более того, если при принятых значениях a и Ñt дополнительно положить Zi Î{0;1}, xji Î{0;1}, то система уравнений (27) превратится в алгоритм формального нейрона Рассмотрим теперь тот случай, когда в алгоритме (27) параметр a и Ñt лежат в интервале от нуля до единицы (0<a<1, 0<Ñt<1). Очевидно, что в этом случае решение системы уравнений (27) с методической погрешностью m аппроксимирует решение исходной системы уравнений, в которой gj(t)= gj и b=1. Цифровой нейроподобный элемент, реализующий алгоритм (27),служит при этом цифровым аналогом инерционного звена первого порядка с сумматором на входе и нелинейным блоком на выходе. Такой ЦНЭ называют цифровым динамическим нейроном. При 0<a<1 и Ñt=1 получим предельный случай цифрового аналога инерционного звена первого порядка, т. е. тот случай, когда величина методической погрешности m имеет максимальное значение. Далее, полагая в алгоритме (27) a=0, 0<Ñt<1, 0£| gj |£1, 0£| Q |£1, 0£| k |£1, найдем, что рассматриваемый алгоритм превращается в алгоритм обычного цифрового интегратора, имеющего блок выделения положительных приращений на выходе и комбинационный сумматор на входе.
(31)
Действительно, цифровая модель в данном случае будет описываться следующей системой разностных уравнений:
Решая систему (31) при начальных условиях y(0)=y0, xj(0)=xj0, найдем
Если в интеграторах используются одноразрядные приращения, то цифровая модель реализует зависимость
(32)
Кроме того, полагая в последнем соотношении Ñt=1, будем иметь Иными словами, алгоритм (27) в рассматриваемом случае совпадает с алгоритмом пространственно-временного сумматора с функцией выделения положительных величин на выходе. Таким образом, на основании анализа разностного алгоритма (27) можно заключить, что реализующая его цифровая модель, построенная на основе решающих блоков ЦИС, обладает рядом положительных качеств, облегчающих ее использование в условиях моделирования нейроподобных ансамблей и сетей. Действительно, в отличие от импульсных и аналоговых устройств, такая модель не содержит неконтролируемо изменяющихся параметров, имеет цифровую регистровую память и позволяет без изменения конфигурации элемента влиять на выполняемые им функции путем изменения параметра a и величины шага Ñt, а также путем использования на выходе положительных многоразрядных или одноразрядных приращений. Без изменения конфигурации связей между цифровым интегратором и цифровым сумматором эта схема в принципе позволяет моделировать цифровой динамический нейрон, формальный нейрон, нейрон с пространственно-временной суммацией. Она позволяет реализовать режим сумматора и цифрового интегратора с пространственным сумматором на входе. Изменение режима работы элемента может осуществляться плавным или ступенчатым изменением шага Ñt на интервале 0£Ñt£1 и изменением величины a на 0£a£1. Более того, при Q=0, a=0, gj=0 и yi>0 цифровой нейроподобный элемент выполняет функции генератора величин Zi+1Ñt=kyiÑt, т. е. выполняет функции нейрона, а при Ñt=0 превращается в элемент памяти. В последнем случае величина yi хранится в регистре ЦНЭ без изменения. Для ее считывания необходимо положить k=1, gj=0, Q=0, a=0 и подать Ñt=1, а для записи новой информации на одном из входов r необходимо в течение одного шага интегрирования иметь синаптический вес gr=1, а коэффициенты gj (j¹r) синаптических весов остальных входов – равными нулю, a=0, Q=0, Ñt=1. Следует отметить и еще одну особенность рассматриваемого алгоритма. Ее суть состоит в том, что при 0£yi£1, Q=0, a=1, gjÎ{0, 1}, ÑtÎ{0, 1}, kÎ{0, 1}, xjiÎ{0, 1}, Zi+1Î{0,1} цифровой нейроподобный элемент, реализующий алгоритм (27), в
(34)
(36)
(35)
функциональном отношении превращается в схему, выполняющую следующее логическое выражение:
Последнее обстоятельство интересно в том отношении, что открывает принципиальную возможность построения нейроподобных сетей, состоящих из цифровых динамических нейронов, позволяющих при некоторых условиях выполнять чисто алгебраические соотношения, свойственные логическим моделям.
Иными словами, разностный алгоритм (27) цифрового нейроподобного элемента является довольно универсальным. Он может служить обобщением не только динамических, но и формально-логических моделей. С учетом возможности изменения параметров a, gj, Q, k, а в общем случае и параметра b: этот алгоритм может быть представлен в следующем виде: Причем приращения Ñai, Ñgji, ÑQi, Ñki, Ñbi переменных параметров ai, gji, Qi, ki, bi, как и входные приращения xj(i- 1)Ñt могут формироваться либо на выходах других ЦНЭ в виде последовательностей Zi+1Ñt, либо поступать извне по каналам сенсорных систем. Таким образом, цифровая модель нейрона, построенная на основе цифровых интеграторов и сумматоров и воспроизводящая разностный алгоритм (34 – 36) с переменными параметрами, обладает функциональной пластичностью и может служить в качестве процессорного элемента, пригодного как для использования в нейрокибернетических и нейрофизиологических исследованиях, так и для использования в цифровых нейрокомпьютерных системах, ориентированных на решение сложных задач вычислительной математики, робототехники и искусственного интеллекта. Важная особенность этих нейроэлементов состоит в том, что помимо работы в режимах различных искусственных нейронов они способны структурно выполнять ряд крупных математических операций, таких как определение скалярного произведения двух векторов, численное интегрирование, выделение положительных приращений интеграла. Действительно, рассматривая алгоритм (34 – 36), нетрудно видеть, что соотношение (34) представляет собой скалярное произведение двух векторов Гi= [g1i, g2i,¼,gNi] и X=[x1i, x2i,¼,xNi]T , умноженное на шаг Ñt. Следовательно, если в ЦНЭ наряду с основным выходом положительных приращений Zi+1Ñt предусмотреть дополнительный выход приращений ViÑt, то появится возможность одновременного использования ЦНЭ как минимум в двух режимах: в режиме определения приращений ViÑt и в режиме определения положительных приращений интеграла Zi+1Ñt. Организуя еще один выход, а именно выход приращений yiÑt, получим дополнительный режим – режим численного интегрирования без выделения положительных величин. При этом следует подчеркнуть, что применение в схеме ЦНЭ дополнительных выходов не только не исключает возможности его применения в рассмотренных ранее режимах относительно основного выхода Zi+1Ñt, но и существенно расширяет его функциональные возможности. Например, при a=Ñt=1 и при использовании в ЦИ многоразрядных приращений, на основном выходе ЦНЭ формируется функция (29), а в случае применения ЦИ с одноразрядными приращениями формируется функция (30).
В то же время наличие первого дополнительного выхода обеспечивает возможность одновременного использования того же ЦНЭ и в качестве блока, реализующего вычисление скалярного произведения, т. к. на его первом дополнительном выходе формируется сумма произведений:
а на втором дополнительном выходе формируется величины: Таким образом, в отличие от формальных и аналоговых динамических нейронов, в которых постулируется отсутствие всяких взаимодействий между нервными клетками, кроме синаптических, в предлагаемых цифровых нейроподобных элементах допускаются подпороговые (соматические) взаимодействия, допускается возможность модификации синаптических весов (g ji = gj(i-1) + Ñgji) за счет дополнительных выходов yiÑt, а также возможность изменения других параметров нейроподобной модели в функции как от основных, так и дополнительных выходных величин. Указанные обстоятельства позволяют рассматривать предлагаемый ЦНЭ с дополнительными выходами и входами приращений параметров в качестве специализированного нейроподобного процессора, операционный базис которого составляют операции разностного алгоритма (34 – 36). Наиболее важным при этом является то, что данный базис выбран не произвольно, а получен в результате математического описания информационных процессов в нервной клетке и, следовательно, является объективно обусловленным для мозга. Поэтому можно предположить, что нейросети цифровых нейрокомпьютеров, составленные из нейроподобных процессоров будут отличаться пластичностью, адаптивностью, самоорганизацией, устойчивостью, т. е. теми свойствами, которые характерны для систем мозга. А если так, то построенные на базе ЦНЭ нейрокомпьютеры могут быть использованы не только в нейрофизиологических и нейрокибернетических экспериментах, но и в исследованиях, направленных на разработку принципов построения различных распознающих, вычислительных и управляющих систем нейроподобного типа. Именно по этой причине идея использования алгоритма (34–36) в качестве операционного базиса процессорных элементов цифровых нейрокомпьютеров является весьма целесообразной. Цифровой нейроподобный элемент, реализующий алгоритм (34–36) называют цифровым нейроподобным процессором (ЦНП), или цифровым нейропроцессором. 11. Структура цифрового нейропроцессора На основании разностного алгоритма (34–36) можно сделать вывод о том, что с целью упрощения ЦНП его схему целесообразно строить на базе цифровых интеграторов, реализующих формулу прямоугольников. Связано это с тем, что при работе ЦНП в режиме ЦНЭ нет смысла применять более точные формулы интегрирования, чем формула Эйлера, а возникающая при его работе в качестве процессорного элемента нейрокомпьютеров погрешность может быть существенно уменьшена, если отдельные ЦНП и нейрокомпьютер в целом использовать в квазистационарном режиме. В целом структура ЦНП должна соответствовать блок-схеме, приведенной на рисунке 14, где наряду с информационными входами и входами приращений параметров предусмотрены как минимум три выхода, а именно выходы приращений ViÑt, yiÑt, Zi +1Ñt. Все эти выходы должны содержать квантователи и допускать возможность их подсоединения как к информационным, так и управляющим входам изменения параметров аналогичных процессоров. В связи с тем, что каждый квантователь содержит определенное оборудование и вносит некоторую погрешность в процесс функционирования ЦНП, вопрос о количестве квантователей и о месте их включения в схеме6 процессора является весьма важным. Рис.14. Структурная схема ЦНП Учет процесса квантования приводит к более сложной, чем (34–36), системе разностно-квантованных уравнений, которая в случае наиболее простого квантования без сохранения остатков и при включении квантователей на выходах ЦИ имеет следующий вид:

где Ф[Ñxi]=(Ñxi - Oi) – функция квантования без сохранения остатков; Oi – остаток квантования. Для определения закона изменения погрешности квантования необходимо из уравнения (38) вычесть соответствующее ему разностное уравнение (35) и найти решение получающегося при этом уравнения погрешности. Решение такого уравнения ci =yi–yi представляет собой функцию квантования ЦНП. При построении уравнения погрешности следует учитывать то, что система (37–39), построенная на основе разностных уравнений (34–36), не является единстве, не является единственно возможной. Так, при использовании более точного способа квантования с сохранением остатков F[Ñxi + Oi-1] = Ñxi + Oi-1 + Oi получим систему разносто-квантованных уравнений, отличную от (37–39): Далее, учитывая то, что наряду с включением квантователей на выходах ЦИ возможно их включение на входах Ñyq, Ñyr интеграторов, получим новые системы разностно-квантованных уравнений. В частности, при квантовании без сохранения остатков и включении квантователей на входах ЦИ будем иметь а при квантовании с сохранением остатков и включении квантователей на входах ЦИ получим: Приведенные системы разностно-квантованных уравнений соответствуют различным структурным схемам ЦНП. Если учесть, что каждую функцию квантования реализует отдельный квантователь, причем квантователь без сохранения остатков проще квантователя с сохранением остатков, то уже на основании соотношений (37–39), (40), (41), (42) можно сравнить по сложности воспроизводящие их ЦНП. Из рассмотрения этих соотношений можно заключить, что структуры ЦНП с квантователями без сохранения остатков наиболее просты, а из структур с сохранением остатков наиболее проста та, в которой квантование осуществляется после суммирования. Следовательно, с точки зрения экономии оборудования наиболее предпочтительны ЦНП, содержащие квантователи без регистров остатков. Однако различные структуры процессоров неравноценны в отношении точности вычислений. Анализ рассматриваемых разносто-квантованных уравнений, проведенный при ai =a, bi =b, Qi=Q, gji=gj, ki =k показывает, что погрешность квантования ЦНП, квантователи которого осуществляют квантование без сохранения остатков и включены на входах ЦИ, имеет вид где |ci | – модуль погрешности квантования; c0 – значение погрешности ci при i=0; n – число разрядов переменной yi. В случае квантования без сохранения остатков и при включении квантователей на выходах ЦИ погрешность ЦНП можно оценить соотношением Если квантователи включены на входах ЦИ, а квантование осуществляется с сохранением остатков, то погрешность ЦНП может быть оценена следующим образом: При квантовании с сохранением остатков и квантователях на выходах ЦИ получим В результате сравнения выражений (43), (44), (45), (46) можно заключить, что погрешность квантования ЦНП, содержащих наиболее экономичные квантователи без сохранения остатков, намного больше погрешности ЦНП, использующих квантование с сохранением остатков. Действительно, как следует из соотношений (43), (44), в них содержится произведение (aÑt)-1, которое при 0<Ñt<1, 0<a<1 может иметь довольно большие значения. Поэтому в ЦНП в общем случае необходимо использовать ЦИ, реализующие квантование с сохранением остатков. Далее, из сравнения выражений (45), (46) видно, что погрешность процессора, содержащего интеграторы с квантователями на входах, несколько меньше погрешности ЦНП, построенного на основе ЦИ с квантователями на выходах. Структура такого нейропроцессора приведена на рисунке 15. Как видно из рисунка, N-входовый ЦНП содержит всего лишь N+4 квантователя. Однако эта структура построена в предположении постоянства параметров a, b, gj, Q, k, которые, в общем случае, могут быть переменными. Поэтому структура с квантователями на входах должна быть более сложной и иметь вид, показанный на рис. 16. Из рисунка 16 следует, что рассматриваемая структура содержит не 4+N, а 2(4+N) квантователей. Кроме того, такая структура менее удобна по сравнению со структурой ЦНП с квантователями на выходах, поскольку предполагает передачу между процессорами неквантованных приращений. Альтернативный вариант построения нейропроцессора, а именно вариант ЦНП с квантователями на выходах цифровых интеграторов может быть представлен в виде схемы, приведенной на рис. 17. Здесь содержится N+5 квантователей и число это инвариантно как при постоянных, так и при переменных значениях параметров. Приращения между ЦНП передаются в квантованном виде. Поэтому с точки зрения экономии оборудования и удобства эксплуатации вторая структура представляется более предпочтительной, поскольку передавать квантованные приращения проще и удобнее, чем неквантованные. Но то обстоятельство, что погрешность квантования в данной схеме больше, чем в схеме на рис.15, не позволяет считать ее оптимальной. По этой причине представляет интерес промежуточный вариант структуры ЦНП, у которого одна часть квантователей включена на выходах ЦИ, а другая часть на их входах. Структурная схема такого ЦНП приведена на рис.18. В этой схеме выходные приращения являются квантованными и, следовательно, проблем при их передаче между нейропроцессорами не возникает. Выходные приращения могут передаваться как на информационные входы, так и на входы изменения параметров. Далее, на входы сумматоров См1, См2 подаются неквантованные приращения. Данное обстоятельство не только позволяет исключить из схемы 3+N квантователей, но и уменьшить погрешность квантования, поскольку в соответствии с выражениями (43), (45) погрешность при суммировании неквантованных приращений меньше, чем при их суммировании после квантования. Блок-схема: извлечение: Кв,Блок-схема: извлечение: Кв Таким образом, можно предположить, что данная структура ЦНП будет не только более экономичной (при N входах она содержит всего 4 квантователя), но и более точной. Отмеченные обстоятельства позволяют утверждать, что приведенная на рис.18 структура ЦНП является наиболее оптимальной. В связи с этим она используется в дальнейшем при синтезе конкретных схем цифровых нейропроцессоров. 12. Быстродействие цифрового нейропроцессора
(50)
(47)
Для оценки быстродействия ЦНП проанализируем его реакцию на ступенчатое входное воздействие, описываемое функцией

(48)

(49)

Пусть на входы ЦНП поступают такие постоянные во времени воздействия, алгебраическая сумма которых равна V(ti). С целью сокращения математических выкладок положим Qп = 0. Тогда, с учетом введенного допущения алгоритм (34 – 36) имеет вид где h = bV(ti); 0< b £1.
Из алгоритма (48, 49) видно, что быстродействие нейроподобного процессора определяется длительностью нестационарной составляющей решения уравнения (48). В свою очередь, это быстродействие тем выше, чем быстрее ЦНП переходит в новое устойчивое состояние, определяемое значениями h и a. Для оценки быстродействия ЦНП и выяснения зависимости времени переходного процесса в функции от таких параметров процессора, как тактовая частота его работы, разрядность регистров, точность отработки стационарного состояния, рассмотрим решение разностного уравнения (48). Это решение имеет вид Из равенства (50) следует, что стационарное решение a-1h, соответствующее входному суммарному входному воздействию h, будет получено тем быстрее, чем быстрее обратится в нуль произведение
(53)
(52)
(51)
Иными словами, при достижении требуемой точности вычислений будем иметь: где d = |yi – a-1h| – заданная погрешность вычислений.
Следовательно, быстродействие ЦНП можно оценить тем количеством шагов i, которое необходимо для удовлетворения неравенства (51). Определяя это количество шагов, получим
В дальнейшем соотношение (52) будем использовать в виде равенства где значение в скобках округляется до ближайшего большего целого числа. При определении времени отработки i шагов интегрирования в ЦНП, построенном на основе ЦИ, учтем то обстоятельство, что для реальных цифровых интеграторов справедливо соотношение
(54)
где T – время одного элементарного шага интегрирования. В свою очередь, время T определяется конструкцией ЦИ и для случая интеграторов последовательного типа может быть представлено в следующем виде:
(56)
(55)
где n – количество разрядов, отводимое под представление переменных; p – количество разрядов, необходимое для представления знака; m – количество разрядов, отводимое для представления приращений; fT – тактовая частота работы ЦИ.
Подставляя соотношения (54), (55) в (53), получим
Рассматривая последнее выражение, можно заключить, что для некоторой, априори заданной, погрешности вычислений d быстродействие ЦНП прямо пропорционально тактовой частоте работы ЦИ и обратно пропорционально количеству разрядов, используемых в их регистрах. Иными словами, чем меньше разрядов в процессоре, тем выше его быстродействие. Однако повышение быстродействия ЦНП путем сокращения разрядной сетки ЦИ связано с уменьшением точности его работы и имеет заранее известный предел. Имеет предел и возможность повышения тактовой частоты. Как правило, величина fT ограничена физическими возможностями применяемых микросхем. Другой способ повышения быстродействия ЦНП связан с подбором таких значений a и Ñt, при которых произведение aÑt » 1. Реализация этого способа требует специальных исследований. Поэтому для оценки быстродействия процессоров с фиксированной запятой рассмотрим зависимость времени отработки единичного входного воздействия в функции от количества разрядов n при различных значениях параметра a. При этом будем считать, что Ñt = 2-n; h = 1; y0 = 0.Тогда для ЦНП, построенного на интеграторах, работающих с модифицированными кодами (p = 2) и одноразрядными приращениями (m = 1), выражение (56) примет вид
(57)
Помимо числа разрядов n и параметра a в соотношение (57) входит тактовая частота fT и погрешность d, которая, в свою очередь, также зависит от числа разрядов n. В качестве fT выберем некоторую максимально возможную частоту fTM, а для выяснения
(58)
характера зависимости d = f(n) и определения формулы погрешности установившегося значения переходной характеристики ЦНП воспользуемся тем обстоятельством, что методическая погрешность стационарного состояния равна нулю и, следовательно, в качестве погрешности d в выражении (57) следует использовать только погрешность квантования. Более того, в качестве погрешности можно применять соотношение d=3*2-n+1 и считать, что формула, определяющая зависимость длительности переходного процесса в ЦНП с выходными одноразрядными приращениями в функции от числа
используемых в регистрах решающих блоков разрядов n, имеет следующий вид Формула (58) справедлива не только при отсутствии порога, но и при Qп ¹ 0. Особым является лишь момент превышения P(t) над порогом, поскольку только в этот момент появляются выходные сигналы, определяемые уравнением (36). Иными словами, формула (58) может быть использована для оценки времени изменения потенциала покоя, наступающего в результате подпорогового возбуждения ЦНП. Более того, эта зависимость удобна при подборе таких параметров нейроноподобного процессора, при которых он способен работать в реальном масштабе времени.
(59)
В более общем случае, для нейроноподобного процессора, использующего интеграторы с многоразрядными приращениями, выражение (58) несколько усложняется и принимает вид Выражение (59) представляет собой зависимость времени реакции ЦНП на входное ступенчатое воздействие в функции от его параметров. Эта зависимость является общим выражением, которое может быть использовано для оценки быстродействия цифровых нейроноподобных процессоров, реализованных на цифровых интеграторах. 13. Устойчивость функционирования цифрового нейропроцессора
(60)
Из соотношения (50) видно, что стационарное решение разностного уравнения (48) может быть получено лишь в том случае, если выполняется условие
(61)
Одновременно это же условие характеризует и устойчивость уравнения (35). Определяя диапазон возможных значений параметров a и Ñt, при которых выполняется неравенство (60), получим Иными словами, при выполнении условий (61) ЦНП устойчив.
(63)
(62)
Однако в полной мере этот вывод справедлив в предположении, что интеграторы, осуществляющие умножение на постоянные и переменные коэффициенты, безынерционны. На самом деле это не так. Как правило, ЦИ осуществляет задержку выходных приращений на один шаг дискретного времени ti. Последнее обстоятельство приводит к повышению порядка описывающего ЦНП уравнения и, как следствие, уменьшает его динамические возможности. Действительно, даже без учета задержек входной части ЦНП и при постоянном входном воздействии hÑt учет задержек ЦИ, осуществляющего умножение на параметр a, приводит к повышению порядка разностного уравнения (48) на единицу:
Из решения уравнения (62) находим, что оно устойчиво, если выполняются более жесткие условия, чем (61), а именно Таким образом, сравнивая ограничения (61) и (63), можно заключить, что реальная схема ЦНП устойчива при значениях шага Ñt, меньших, чем у ее идеального прототипа, описываемого уравнениями (34) – (36) или (48). Учет задержек, вносимых другими блоками умножения на постоянный коэффициент при замыкании основного выхода процессора на один из его информационных входов, приводит к еще большему повышению порядка, описывающего процессы в ЦНП разностного уравнения. В свою очередь, это приводит к еще большему уменьшению допустимой области устойчивой работы процессора. С увеличением задержки величина максимально допустимого шага уменьшается и, следовательно, уменьшается возможное быстродействие модели. Очевидно, что это обстоятельство необходимо учитывать при выборе шага Ñt. Однако в некоторых случаях более целесообразно не учитывать задержки блоков умножения на постоянные коэффициенты путем ограничения области устойчивой работы модели, а компенсировать их путем включения экстраполяторов приращений. Физическим аналогом экстраполяции может служить механизм воспроизведения акцептором результата действия, который по утверждению известного нейрофизиолога П. К. Анохина, является универсальным физиологическим механизмом, проявляющемся не только на уровне целого организма и его органов, но и на клеточном и даже внутриклеточном уровне. Ввиду того, что рассматриваемый ЦНП строится как информационная модель реального нейрона, можно предположить, что отмеченная необходимость в экстраполяции не является случайной, а есть отражение объективной закономерности, проявляющейся в компенсации инерционностей, возникающих в результате эволюционного усложнения биологических объектов на всех уровнях биологической организации от внутриклеточного до организменного включительно. В биологии такой компенсаторный механизм получил название опережающего отражения, в психологии он называется установкой, в математике и технике он известен как экстраполяция. Поэтому использование блоков экстраполяции для компенсации инерционностей отдельных блоков ЦНП может служить моделью опережающего отражения на внутриклеточном уровне.
Следуя идее П. К. Анохина, можно предположить, что компенсация инерционностей не только составных частей ЦНП, но и процессора в целом приведет к существенному расширению его динамических возможностей. Действительно, пусть процессор содержит экстраполятор, компенсирующий его собственную инерционность. Тогда процессы в ЦНП можно описать следующим разностным уравнением: где yiэ – экстраполированное на шаг вперед значение функции y(ti-1).
(67)
(66)
(65)
(64)
Учитывая то, что при точной экстраполяции yiэ = yi, получим
Решая уравнение (64) и определяя условие его устойчивости найдем:
Неравенство (65) выполняется, если справедливы условия: Иными словами, при использовании идеальных экстраполяторов, компенсирующих общую инерционность ЦНП, сам процессор приобретает способность устойчиво работать при любом положительном шаге без каких-либо ограничений на его величину.
Другой особенность экстраполяционного разностного уравнения (64) является то, что оно может быть устойчивым даже тогда, когда исходное разностное уравнение (48) и соответствующее ему дифференциальное уравнение вообще неустойчивы. Действительно, достаточным условием устойчивости уравнения (67) и необходимым условием устойчивости разностного уравнения (48) является выполнение условия: a<0. В противном случае решение уравнения (67) не имеет устойчивого стационарного значения y=a-1h, которое имеет место при a>0.
(68)
В то же время, из соотношения (65) следует, что уравнение (64) может быть устойчивым и при отрицательных a, если выполняется неравенство т. е. даже в тех случаях, когда уравнения (48) и (67) принципиально неустойчивы. Таким образом, ЦНП без инерционностей обладает широкими динамическими возможностями, что делает привлекательной идею построения процессоров, реализующих уравнение (64). Однако практическое воспроизведение точной экстраполяции связано с определенными техническими трудностями. Поэтому будем полагать, что задержки блоков умножения на постоянный или медленно меняющийся коэффициент при необходимости компенсируются экстраполяторами, а выходные приращения полного интегратора, реализующего временной сумматор ЦНП, в общем случае не экстраполируется. Подобная экстраполяция целесообразна лишь в том случае, когда приводит к улучшению динамических свойств, состоящих из ЦНП нейроноподобных ансамблей и структур. Используя полученные результаты, перейдем к рассмотрению вопросов создания элементной базы цифровых нейропроцессоров на основе микроэлектронной технологии. 14. Алгоритм и структура базового модуля цифрового нейропроцессора С целью практического использования рассматриваемых ЦНП целесообразно их изготовление на основе современной микроэлектронной технологии в виде больших интегральных схем (БИС). По этой причине уместна постановка задачи о разработке БИС, предназначенных не только для построения ЦНП, но и состоящих из них нейроподобных ансамблей и структур. Следуя морфологии отдельного нейрона, для отдельного ЦНП желательно иметь один корпус БИС. В то же время, учитывая то, что количество входных дендритных отростков у нервных клеток колеблется от единиц до десятков и сотен тысяч, в общем случае для БИС ЦНП необходимо предусматривать специальную БИС расширителя пространственного сумматора. При таком подходе номенклатура комплекта БИС ЦНП будет состоять из двух интегральных схем, а именно схемы собственно ЦНП, имеющей несколько информационных входов, и схемы входного расширителя, представляющего собой пространственный сумматор нейропроцессора. Вопрос о количестве входов каждого из корпусов БИС должен решаться исходя из возможностей конкретной микроэлектронной технологии. Пример одного из возможных вариантов построения таких схем приведен на рис.19 и на рис.20. Так, на рис.19 изображена структурная схема первого корпуса, а на рис.20 – второго корпуса БИС ЦНП (БИС1 и БИС2 соответственно). Однако необходимость в микросхемах двух типов ведет к определенным неудобствам при создании микроэлектронных ЦНП. Поэтому представляет интерес разработка алгоритма и структуры такого нейроподобного элемента, который будучи реализован в виде БИС мог служить базовым модулем при построении как временного, так и пространственного сумматоров, а значит, и нейропроцессора в целом. Для построения такого нейропроцессора используем подход, суть которого состоит в том, что для выполнения функций временного сумматора (БИС2) привлекается часть интеграторов, формирующих синаптические веса gji в БИС1. Данный подход позволяет на основе БИС1 синтезировать новую, отличную от БИС1 и БИС2 микросхему нейронного модуля, работающего в режиме простейшего нейрона и способного быть базовым элементом для синтеза более сложных нейропроцессоров динамического типа, а также выполнять функции расширителя входов пространственного сумматора ЦНП.
Действительно, как показывает анализ алгоритма (34–36), формирование дискретной функции yi из ее приращений Ñyi не отличается от формирования переменных синаптических весов gji , параметров ai , bi, переменного порога Qi и коэффициента ki из соответствующих приращений Ñgji, Ñai, Ñbi, ÑQi, Ñ ki, а формирование приращений Ñyi осуществляется по той же формуле, что и формирование пространственной суммы ViÑt. Следовательно, для сохранения возможности воспроизведения динамических свойств нейрона в соответствии с (34–36), в алгоритме базового нейронного модуля (БНМ) достаточно иметь лишь одно условие вида
и одно соотношение вида Остальные параметры ЦНП, а именно ai, bi, Qi, k i , можно формировать в цифровых интеграторах синаптических весов путем использования необходимых схемных соединений и введения соответствующих обозначений. Учитывая это обстоятельство, а также то, что в простейшем варианте БНМ должен функционировать как минимум в режиме формального нейрона с выходом Zi +1=Sign[ViÑt] и быть пригодным для создания более сложных нейропроцессоров с динамическим выходом Zi+1 Ñt=max{0, ViÑt}, представим алгоритм БНМ в следующем виде:
(71)
(70)

Покажем, что относительно Z БНМ, работающий в соответствии с алгоритмом (69), действительно реализует алгоритм формального нейрона. Для этого введем обозначения:
Подставляя обозначения (70) в алгоритм (69), получим
При gji=gj, Ñgji =0i, Qi =Q, ÑQi =0,Ñt=1 и xjiÎ{0, 1} система уравнений (71) принимает вид что с точностью до обозначений совпадает с алгоритмом формального нейрона.

Полагая в некотором БНМ
(74)
(73)
(72)
найдем, что относительно выхода VÑt тот же модуль будет воспроизводить другую систему уравнений: Работающий в соответствии с (72) БНМ назовем модулем пространственной суммации.
Далее учтем, что произведения yi-1Ñt могут формироваться таким же БНМ, если в алгоритме принять и использовать выход ZÑt.
Этот второй, запрограммированный в соответствии с (73) БНМ назовем модулем временной суммации. Реализуемый им алгоритм имеет вид: Если теперь использовать приращения ViÑt=Ñyi из алгоритма (72) модуля пространственной суммации в качестве приращений Ñg1i=Ñyi для алгоритма (74) модуля временной суммации, а также учесть, что в алгоритме (74) из приращений Ñyi формируются величины yi , то на выходе ZÑt БНМ временной суммации получим выходные приращения динамического ЦНП, у которого b=k=1. В дальнейшем с целью упрощения анализа будем полагать, что если не сделаны специальные оговорки, то равенство b=k=1 выполняется автоматически. Таким образом, отдельный БНМ действительно может работать в режиме формального нейрона, пространственного и временного сумматора. Структурная схема такого БНМ показана на рис. 21. Из рисунка видно, что в общем случае модуль содержит N синаптических блоков, каждый из которых состоит из умножителя Мнj , регистра Рг gj синаптического веса g j и двухвходового сумматора Смj, суммирующего значения весовых коэффициентов gji с их приращениями Ñgji. На первые входы умножителей Мн j поступают входные воздействия xj(i-1)Ñt с выходов других БНМ или от периферийного оборудования, связанного с внешней средой. Произведения gji(xj(i-1)Ñt) суммируются многовходовым пространственным сумматором См(N+1) и в виде результирующей величины ViÑt поступают на выход модуля, а также на вход квантователя Кв.
(76)
(75)
Следует отметить, что при n–разрядных синаптических весах gji и n–разрядных входных воздействиях xj(i-1)Ñt произведения g ji(xj(i-1)Ñt) и их сумма ViÑt будут содержать 2n двоичных разрядов. Очевидно, что с выхода БНМ эти 2n–разрядные величины могут подаваться лишь на дополнительные входы rj расширения многовходового сумматора См(N+1) в качестве слагаемых и не могут использоваться ни в качестве приращений Ñgji , ни в качестве сомножителей (xj(i-1)Ñt) на входах Мнj. Поэтому для согласования разрядностей величин ViÑt с разрядностью приращений Ñgji и разрядностью входных воздействий xj(i-1)Ñt используется квантователь Кв, реализующий зависимость где ViÑt – квантованные значения ViÑt, содержащее n ее старших разрядов; Oi – остаток квантования, содержащий nмладших разрядов той же суммы ViÑt.
Для уменьшения погрешности квантования величин ViÑt остатки O i при квантовании по алгоритму (75) не отбрасываются, а учитываются в соответствии с алгоритмом где Oi-1 – остаток квантования суммы Vi-1 Ñt в предыдущий (i-1)–й момент времени ti. Учитывая последнее соотношение, а также то, что выходной блок (ВБ) модуля формирует значения выходной функции ZiÑt, переформулируем алгоритм (69) БНМ следующим образом: где gij - n-разрядное значение синаптического веса j-го входа БНМ в i-й момент дискретного времени t; Ñgji – n-разрядное приращение синаптического веса j-го входа; ViÑt – 2n-разрядная неквантованная сумма на выходе сумматора См(N+1) ; xj(i-1)Ñt – n-разрядные приращения входных воздействий; rji – величины, поступающие на входы rj сумматора См(N+1) с выходов ViÑt других нейроподобных модулей; ViÑt – n-разрядные квантованные значения величин ViÑt.
(78)
Выходные функции алгоритма (77) формируются выходным блоком ВБ модуля. Этот блок сравнительно прост, и по количеству используемого оборудования (совместно с оборудованием квантователя Кв, работающего по алгоритму (76)) примерно соответствует оборудованию ОБСБ синаптического блока. Иначе говоря, можно считать, что объем оборудования ОББНМ нейроподобного модуля может быть оценен соотношением
(79)

Условное графическое обозначение БНМ показано на рис. 22. Используя данное обозначение, представим схему цифрового нейроподобного процессора так, как это показано на рис. 23. Информационные процессы, протекающие в данной схеме, могут быть описаны следующей системой разностных уравнений: где Q – порог моделируемого воздействия; a – параметр, характеризующий инерционные свойства нервной клетки. Сравнивая уравнения системы (79) с математическим описанием информационных процессов в цифровой модели нейрона, найдем, что относительно выходной функции Zi+1Ñt система (79) действительно совпадает с алгоритмом нейропроцессора динамического типа. Относительно выходной функции Z i+1 отдельный БНМ работает в режиме обычного формального нейрона.

Таким образом, БНМ представляет собой достаточно универсальный модуль, который способен работать в режимах пространственного сумматора и формального нейрона, а также в режиме временного сумматора. Более того, тот же модуль может служить и в качестве расширителя входов пространственного сумматора. Поэтому при его микроэлектронной реализации получается единственная универсальная БИС БНМ, выполняющая функции как БИС1, так и БИС2. Очевидно, что в такой БИС желательно иметь как можно больше синаптических входов, т. е. тех входов, на реализацию которых уходит основная часть оборудования БНМ. Однако, при проектировании БНМ необходимо учитывать и то, что в различных режимах оборудование модуля используется неравномерно. Так, из рис. 23 видно, что в БНМ1, выполняющем функции пространственного сумматора, используется практически все оборудование схемы. В то же время в БНМ2, реализующем функции временного сумматора, используется лишь 2(N+1)-1 –я его часть. При возрастании N эффективность применения модуля БНМ2 уменьшается. С целью устранения данного недостатка описанных базовых нейронных модулей используем идею коммутации их синаптических блоков. При этом появляются модули с внутренней коммутацией. 15. Базовый модуль с внутренней коммутацией Идею построения коммутируемых БНМ (КБНМ) поясним при помощи схемы, показанной на рис. 24а (на рис. 24б показано ее условное графическое обозначение).

Входы νj (j=1, N+2) являются управляющими. Причем, νj Î{0, 1}. Если некоторый сигнал νj =0, то соответствующий j-й синаптический блок отключается от сумматора и при помощи дополнительного выхода wj может быть подсоединен к некоторому входу расширения r j другого БНМ. Эффективность использования оборудования ЦНП, состоящего из двух коммутируемых БНМ, возрастает почти в два раза. Следующий этап совершенствования структуры БНМ связан с обеспечением возможности построения ЦНП не на двух, а на одном нейроподобном модуле. Достигается это путем обеспечения возможности переключения режимов работы модуля. 16. Базовый модуль с перестраиваемой структурой Блок-схема базового модуля с перестраиваемой структурой (БНМ ПС) имеет вид, показанный на рис. 25а (условное графическое обозначение приведено на рис. 25б). При использовании БИС БНМ ПС схема ЦНП может быть построена на одной микросхеме путем коммутации ее входов и выходов (рис. 26).

Полюсы r1¸ rM позволяют увеличивать число входов ЦНП до нужного числа. В качестве расширителей входов используются такие же БИС. (Выходы S, S’, w1¸wN+2). При n=1 и отсутствии обратных связей БНМ ПС является обучаемым формальным нейроном или расширителем входов ЦНП. С показанными на рис. 26 обратными связями та же БИС выполняет функции ЦНП.

Подключение такой же БИС на входы расширения позволяют увеличить число входов ЦНП. Таким образом, рассмотренный базовый модуль является полифункциональным и, кроме того, позволяет повышать эффективность использования своего оборудования путем переключения синаптических блоков. Достигается это путем незначительных аппаратных затрат внутри модуля и использования дополнительных управляющих, входных и выходных линий. 17. Расчет экономического эффекта Расчет экономического эффекта от производства новой продукции, не имеющей базы сравнения (принципиально новой продукции), осуществляется исходя из прибыли реализации единицы этой продукции, удельных капитальных вложений с учетом нормативного коэффициента их эффективности и годового объема производства принципиально новой продукции: Э = ( П – Ен*К)*А2 (80) где Э – годовой экономический эффект от производства нового продукта, руб.; П – прибыль от реализации единицы нового продукта, руб.; Ен – нормативный коэффициент эффективности капитальных вложений, равный 1,5; К – удельные капитальные вложения в производство нового продукта, руб.; А2 – годовой объем производства новых продуктов, ед. Для выбора наиболее экономичного варианта производства производятся расчеты сравнительной экономической эффективности на основе определения минимума приведенных задач: Зi = Сi + Ен*Кi ³ min (81) где Зi – удельные (на единицу продукции) приведенные затраты на производство продукта, руб.; Сi – удельные текущие затраты (себестоимость) на производство продукта, руб.; Кi – удельные капитальные вложения в продукт, руб. Расчеты по формуле (81) позволяют из всего множества вариантов выпуска одинаковых по объему и качеству продуктов при различных текущих затратах и капитальных вложений выбрать вариант с наименьшими совокупными затратами. Решение о выборе варианта для постановки его на производство формируется на основе анализа экономической эффективности и народнохозяйственного значения продукта при его использовании с учетом расчетов, выполненных по формуле (81). Заключение Изложенный материал отражает один из важных подходов к проектированию искусственных нейронов и нейронных сетей. Суть этого подхода состоит в синтезе и аппаратной реализации разностных алгоритмов обработки информации в нервных клетках, воспроизводящих как моделирующие, так и вычислительные свойства нейронов. Данное обстоятельство оправдывает использование для обозначения синтезированного цифрового динамического нейроподобного элемента термина «цифровой нейропроцессор». Особенность такого ЦНП заключается в том, что, помимо выполнения крупных математических операций, он структурно настраивается на выполнение крупных моделирующих операторов типа формального нейрона, адаптивного нейрона и т. д. Нейронные операторы позволяют использовать ЦНП для имитационного моделирования неформализованных нейросетевых процессов в мозге. Математические операции позволяют создавать обучаемые сети систем распознавания образов. Более того, эти операции позволяют строить нейропроцессорные сети для решения таких задач вычислительной математики, как решение систем линейных алгебраических уравнений с произвольной, в том числе прямоугольной и квадратной особенной матрицей коэффициентов; решение задач линейного программирования; решение систем дифференциальных уравнений со сложными граничными условиями, решение интегральных уравнений и т. п. В то же время следует отметить, что данный подход не является единственным. В настоящее время многие фирмы США, Японии, Европы ведут интенсивные исследования, направленные на создание нейрокомпьютеров и нейроэлементов различных модификаций. Прежде всего это касается симуляционных (моделирующих) нейрокомпьютеров, разрабатываемых в виде пакетов прикладных программ для персональных ЭВМ и суперЭВМ. Разрабатываются нейроЭВМ на новой технологической основе, например оптической, оптоэлектронной, молекулярной. Литература 1. Чернухин Ю. В. Нейропроцессоры. Таганрог, ТРТИ, 1994. 2. Чернухин Ю. В. Искусственный интеллект и нейрокомпьютеры. Таганрог, ТРТИ, 1997.