6.2. Применение нейросетевых технологий для анализа данных
Нейросетевые технологии предоставляют сегодня широкие возможности для решения задач прогнозирования, обработки сигналов и распознавания образов. По сравнению с традиционными методами математической статистики, классификации и аппроксимации, эти технологии обеспечивают достаточно высокое качество решений при меньших затратах.
Они позволяют выявлять нелинейные закономерности в сильно зашумленных неоднородных данных, дают хорошие результаты при большом числе входных параметров и обеспечивают адекватные решения при относительно небольших объемах данных. Сейчас уже накоплен богатый опыт успешного использования нейронных сетей в практических приложениях. По количеству реальных приложений лидируют системы интеллектуального анализа данных в бизнесе и в управлении процессами.Интеллектуальный анализ данных (ИАД) или data mining - это процесс выявления значимых корреляций, образцов и тенденций в больших объемах данных. Учитывая высокие темпы роста объемов накопленной в современных хранилищах данных информации, роль ИАД трудно переоценить. По мнению специалистов Gartner Group, в 1998 г. ИАД войдет в десятку важнейших информационных технологий. В последние годы началось активное внедрение технологии ИАД. Ее активно используют такие крупные корпорации как American Express, Lockheed и многие другие. Естественно, в ответ на этот интерес на рынке программных средств стали появляться соответствующие инструментальные средства.
Особенно широко методы ИАД применяются в бизнес-приложениях аналитиками и руководителями компаний. Для этих категорий пользователей разрабатываются инструментальные средства высокого уровня, позволяющие решать достаточно сложные практические задачи без специальной математической подготовки. Актуальность использования ИАД в бизнесе связана с жесткой конкуренцией, возникшей вследствие перехода от «рынка продавца» к «рынку покупателя».
В этих условиях особенно важно качество и обоснованность принимаемых решений, что требует строгого количественного анализа имеющихся данных. При работе с большими объемами накапливаемой информации необходимо постояннооперативно отслеживать динамику рынка, а это практически невозможно без автоматизации аналитической деятельности.
Информационный продукт SENN Sales представляет собой специализированное средство для интеллектуального анализа данных в финансовой и коммерческой сферах. Как и 4Thought, эта система работает на платформе ПК, а также может загружать информацию из корпоративных баз данных без ограничений на количество столбцов и строк в таблицах. В сущности, сферы применения обеих систем одни и те же. SENN Sales используется для решения задач профилирования клиентов, маркетингового анализа, прогнозирования спроса и т. д. Рассмотрим опыт ее применения для прогнозирования финансовых рядов.
Надежное и точное прогнозирование фьючерсных курсов обмена валют, кредитных ставок, цен и динамики продаж позволяет заключать выгодные международные валютные сделки, формировать финансовые и инвестиционные пакеты, давать точную оценку текущей ситуации на рынке и т.д.
Данные за прошлые периоды (индексы, курсы обмена, кредитные ставки и кривые продаж) содержат структурные зависимости, выявив которые, можно определить поведение системы в будущем. Используя метод моделирования, обеспечивающий точное воссоздание динамики поведения системы, можно описать зависимости в имеющихся данных и построить прогноз. Нейронные сети оказались самым подходящим инструментом для решения задач прогнозирования сложных динамических зависимостей, по сравнению, например, с регрессионными алгоритмами или нечеткой логикой.
Использование нейронных сетей позволяет строить интегрированные самосогласованные модели для нескольких различных валют, причем система дает при этом более точный результат, чем пакеты, построенные на основе традиционных методов. Таким образом можно минимизировать риск потерь при валютных операциях в ходе заключения международных сделок.
Моделирование индекса DAX фондовой биржи представляет интерес для инвестиционных компаний, которые могут использовать модельные прогнозы для оптимального размещения финансовых средств. В частности, одной из таких компаний, по данным за период январь 1996 г.
- апрель 2000 г., удалось построить модели динамики индекса. Эти модели применялись для принятия решения о последовательности покупок/продаж, что позволило компании существенно повысить прибыль.Моделирование индекса REX представляет интерес для банков, промышленных и коммерческих компаний. При работе с кривыми изменения кредитных ставок речь, как правило, идет о долгосрочных проектах, поэтому срок, на который составляется прогноз, обычно исчисляется месяцами, а не днями. В рассматриваемом примере изменения REX-индекса фиксировались и прогнозировались для полугодовых интервалов. Обучение и тестирование модели проводили по данным за 1974-1999 гг. Затем строились прогнозы, начиная с даты воссоединения Германии. При этом можно было наблюдать, насколько
более точным становится прогноз после ослабления влияния политических событий на экономическую ситуацию. Это говорит о том, что модель адекватно отражает внутреннюю структуру рассматриваемой системы. Полученная модель позволила определять длительность циклов изменения кредитных ставок и обоснованно планировать инвестиции.
При решении данной задачи с помощью системы SENN результаты прогнозирования доходов от капиталовложений обрабатывались методами принятия оптимальных решений. Сначала для определения наилучшего способа размещения капитала рассматривался индекс фондовой биржи, а также долгосрочные и краткосрочные кредитные ставки для каждой из стран (Англия, Франция, Германия, Япония и США). При этом были приняты во внимание изменения в системе счетов в Европе и странах большой семерки, вызванные появлением на финансовых рынках новой европейской валюты. При традиционном подходе к управлению портфелем прогнозируется доход на каждую из статей капиталовложений: с помощью методов нейроаналитики была получена ставка дохода 21%. На основе построенных моделей была разработана стратегия размещения фондов, оптимизирующая доход от капиталовложений для портфеля активов и оценивающая возможные риски.
За последние несколько лет методы нейроаналитики доказали свою способность успешно решать сложные практические задачи.
Сегодня происходит интеграция этих средств в сложные системы управления и анализа.В бизнес-приложениях наибольший интерес представляет интеграция методов интеллектуального анализа данных с технологией OLAP (как, например, это сделано в семействе BI фирмы Cognos). OLAP использует многомерное представление агрегированных данных для быстрого доступа к важной информации и дальнейшего ее анализа.
Системы OLAP обеспечивают аналитикам и руководителям быстрый последовательный интерактивный доступ к внутренней структуре данных и возможность преобразования исходных данных с тем, чтобы они позволяли отразить структуру системы нужным для пользователя способом. Кроме того, OLAP-системы позволяют просматривать данные и выявлять имеющиеся в них закономерности либо визуально, либо простейшими методами (такими как линейная регрессия), а включение в их арсенал нейросетевых методов обеспечивает существенное расширение аналитических возможностей.
Успешное применение методов ИАД и OLAP предъявляет серьезные требования к построению баз данных, а также к качеству содержащейся в них информации. К сожалению, многие отечественные компании не могут пока воспользоваться новейшими технологиями обработки информации именно из-за некорректной организации своих данных. Однако отдача от внедрения методов OLAP и ИАД достаточно велика, чтобы крупные компании могли провести реорганизацию имеющихся БД и перейти к технологии хранилищ данных.