Обновления в блоге

Я добавил поиск по около ИИ-шным форумам.
Интересная штука от google :)

Опубликовано в Независимой Газете от 22.02.2006

Александр Нариньяни

Очень искусственный интеллект

Мы у порога нового этапа цивилизации, касающегося как всего человечества, так и каждого человека, его личности, тела, образа жизни и даже души.
Петер Грик, 'Голова-Машина', 1989 г.

Об авторе: Александр Семенович Нариньяни - генеральный директор Российского НИИ искусственного интеллекта (Москва-Новосибирск)

Будет ли машина, обладающая чувствами, машиной или уже нет?

Термин artificial intelligence (искусственный интеллект, ИИ) был предложен в 1956 году на семинаре с аналогичным названием в Станфордском университете (США). Подобное самоназвание области обозначило тот «наивный оптимизм» начального периода, когда большинству казалось, что до ИИ рукой подать. Однако пока с каждым десятилетием расстояние до цели только растет. Спустя пятьдесят лет всем ясно, что она не близка, трудностей полно, а успехи не слишком впечатляют.

Очевиден и вывод – область ИИ находится под влиянием известного «горного эффекта»: если расстояние до небольшой высоты определить несложно, поскольку она попадает в поле зрения только вблизи, то громадная вершина видна с такого удаления, что кажется гораздо меньше и ближе, чем на самом деле. Ее масштаб начинаешь представлять лучше, пройдя достаточно большую дистанцию и осознавая, что ее видимые размеры почти не изменились и оценка расстояния до нее на глаз осталась примерно той же.

Что ищем

Термин «искусственный интеллект», родившийся как название конкретной области кибернетики, быстро пошел «вширь». Споры на тему, что к этой области относить и каковы ее задачи, ведутся до сих пор и конца им не видно. Тем более что само понятие «интеллект» достаточно неоднозначно. Ясно только, что оно включает сочетание таких взаимосвязанных способностей, как: умение решать сложные творческие задачи; способность к обучению, обобщению и аналогиям; обладание собственными средствами получения информации от внешнего мира, т.е. органами восприятия (зрение, слух и т.п.).

Этот список можно расширять, но суть в первом приближении он определяет.

В качестве критерия ИИ принят тест, предложенный в начале 50-х годов Тьюрингом: «Компьютер можно считать разумным, если он способен заставить нас поверить, что мы имеем дело не с машиной, а с человеком».

Можно ли пройти тест Тьюринга? Смотря в какой области: в некоторых очень нескоро, в других – вполне реально, но тоже не завтра. Почему?

Упомянутый «горный эффект» иллюстрирует ошибку оценки в условиях прямой видимости, которой у больших задач, как правило, нет. На тему «Куда и как двигаться» дискуссий в ИИ идет не меньше, чем по поводу определения самого термина. Выделяются три основных подхода.

1. «Аппаратная аналогия»: поймем, как работает мозг, сможем создать его искусственно. Именно этот подход лег в основу нейрокибернетики и разных школ с приставкой «нейро».

2. «Аналогия поведения»: мозг слишком сложен и до его познания далеко; наиболее прямой путь к ИИ – изучение и компьютерное моделирование поведения человека.

3. «Метафора колеса»: аналогии 1 и 2 для создания ИИ не обязательны – например, колеса в природе нет, но оно эффективнее способов передвижения живых организмов; трудно представить, на какой стадии развития застряло бы человечество, если бы вместо колеса попыталось имитировать ногу, а ведь мозг на много порядков сложнее.

Последние два направления ориентируются на решение сложных задач с использованием знаний и легли в основу противоположного нейрокибернетике принципа «черного ящика»: не имеет значения, как устроен человеческий мозг, главное, чтобы ИИ обладал его способностями.

Теория знаний, которая стала здесь ключевой, развивается на пересечении философии, лингвистики, математики и психологии. И сам прогресс области ИИ превращается в продуктивный диалог этих наук, ориентирующийся как на решение проблем прикладного характера, так и на поиски ответов на вопросы самого высокого уровня – Что есть человек, Мир вокруг нас, Наши знания об этом мире и т.п.

Зачем и куда

Прикладные работы в области ИИ – это та самая интеллектуализация, которая нужна для решения любых сложных прикладных задач. Поэтому энтузиасты этой новой, но заманчивой проблемы берутся за все что угодно и фронт искусственного интеллекта растет в основном в ширину.

Что-то получается, но пока, чаще всего, не выше «тройки». Редко – на «четыре с минусом»: например, манипуляторы, зрение и анализ изображения, анализ и синтез речи, диагностика… В качестве серьезного прорыва можно было бы привести шахматы, но и здесь в основном результаты получены не благодаря успешным творческим моделям, а по причине роста мощности компьютеров, способных с помощью удачных эвристик перебирать теперь варианты быстрее, чем их могут оценить чемпионы мира.

Типична история машинного перевода, возможности которого вначале переоценивали на порядки. Хотя любому хорошему переводчику известно, что для настоящего перевода (даже технического) мало словаря и грамматики. Тут еще нужны знания в той области, к которой относится текст. А эти знания и есть ядро ИИ, без которого никакой серьезной интеллектуализации не получается.

Скажем, метеосводки машине переводить по силам: эта область достаточно ограниченная, знания о ней можно формализовать и поместить в компьютер. А что-нибудь более сложное пока не удается: чем шире область, тем больше падает качество. Во всяком случае, серьезные успехи остаются еще по-прежнему за горизонтом.

Но это совсем не означает, что работы в ИИ теряют смысл: совершенно ясно, что интеллектуализация является сегодня ключом стратегического развития как самих информационно-коммуникативных технологий (ИКТ), так и всех областей, в которых они используются, а продуктивных серьезных прикладных разработок без теоретической базы не бывает.

Мега-проблемы

По настоящему большие проблемы, которые ставит перед собой человечество, можно разделить по сложности на несколько уровней.

Технические – как правило, их разработка требует не менее нескольких лет. Таких подавляющее большинство, одни решаются за счет блестящих творческих находок, для других необходимы большие коллективные – иногда международные – усилия. Например, реактивная авиация или мобильная телефония.

Макро: масштаб – несколько десятилетий. Сюда относятся почти все глобальные проблемы, включая такие, как ближний космос, стратегические задачи энергетики, экологии, медицины и т.п.

Мега: время решения занимает несколько – часто много – поколений, например, полеты в далекий космос.

Сегодня до уровня мега поднимаются стратегические проблемы лишь немногих областей знаний, которые возглавляет прародительница всех наук – философия. Три тысячи лет она пытается сформулировать наиболее общие законы окружающего мира, т.е. определить всеобщее устройство всего. Недаром мифический инструмент решения всех проблем назывался философским камнем.

Очень похоже, что ИИ поставил перед собой задачу сравнимого масштаба, для решения которой надо узнать все о себе и научиться находить аналогичные технические решения. Таким образом, философия и искусственный интеллект движутся навстречу друг другу: философия от самых общих законов к попыткам примерить их к частным случаям, а ИИ – от решения конкретных задач ко все более широкому обобщению своих экспериментальных достижений.

Навсегда в лабиринте?

Любая мега-проблема необозрима и по существу, и в силу ее масштаба. Например, для античного мира мега-проблемой было представление об ойкумене, т.е. о мироздании и прежде всего о нашей планете. Сколько теорий, схем и карт на эту тему было создано неутомимым сочетанием недостаточного опыта и неограниченного воображения (слоны на черепахе, купол неба, край света и т.п.) и насколько далеки они были от той картины, которая считается истинной сегодня.

Поэтому мега-проблему можно сравнить с гигантским лабиринтом, в различных точках которого находятся группы исследователей, стремящихся найти свой путь к цели, хотя и пространство лабиринта, и сама эта цель понимается ими по-разному.

В одном эти группы похожи: они не представляют себе размеры и сложность мега-проблемы, иначе никогда бы не решились пуститься в свой поход. И уж, по крайней мере, не тешили бы себя иллюзиями о том, что имеют представление о задаче и знают, в какую сторону двигаться.

Между разными группами есть подобие связи и возможность общения, хотя и ограниченная не слишком высокой их способностью к взаимопониманию. Это создает у них иллюзию единого поля видения и представления об общей карте «области исследования». Хотя я уверен, что эта карта – или множество ее частных вариантов – не ближе к истине, чем упоминавшаяся карта ойкумены древнего мира.

Человек и машина

Сколько шло и идет споров на тему, реально ли создание машины, которая превосходила бы возможности человеческого мышления со всеми его особенностями и нюансами? Вопрос скорее философский: научиться со временем имитировать «технически» можно что угодно и на любом уровне качества, никак не отличимом от возможностей человека. А следовательно, и превзойти его…

Но тут есть два тонких момента. Первый: будет ли эта «машина» машиной или уже нет? И второй: если сам человек будет стоять на месте и даже тихонько деградировать, как это происходит сейчас, то обойти среднего homo sapiens машине будет совсем не так сложно.

Вспомним тест Тьюринга: с кем будем сравнивать ИИ – с интеллектуальной элитой или с любителем пива и телевизора? И кто будет сравнивать – если другой любитель телевизора, то можно считать, что ИИ уже за углом.

Мы видим, как наша цивилизация попадает во все большую зависимость от ею же создаваемой техники, для которой всегда существует возможность ошибки или сбоя, которые окажутся губительны для человечества.

Приходится признать, что такова уж особенность нашей культуры: любой этап развития человека – это шаг в симбиозе с новым уровнем технологии. Освоение каменных орудий и огня тоже имело не только плюсы, но и минусы. Прогресс – нечто вроде наркотика, и чем дальше, тем зависимость от его даров только растет.

Во многих отношениях люди от технической цивилизации уже сегодня зависят целиком и полностью. Мы все больше врастаем в нее, а она в нас. Отключается электричество в Нью-Йорке или Москве – начинается «конец света». Почему отключилось? Компьютер подвел. Сегодня мы даже от не очень сложных своих компьютеров зависим иногда до беспомощности, а ведь у них интеллекта пока еще несравнимо меньше, даже чем у кошки. Если управление нашим будущим будет переходить к тому ИИ, который «за углом», то о таком будущем и думать страшно.

Кто такой еHOMO

Между тем, как уже видно, основная дорога ведет совсем не туда, куда собирались. За спорами о том, может ли машина мыслить, что такое интеллект (тем более искусственный), не завоюют ли нас машины и т.п., довольно неожиданно прямо на наших глазах стал формироваться непредусмотренный третий участник игры в будущее. Я назвал его еНОМО, поскольку он порождается симбиозом сегодняшнего homo sapiens с быстро совершенствующимися сверхвысокими технологиями.

В этом коктейле проступает совсем новая формация личности середины XXI века: еНОМО будет отличаться от человека начала нынешнего века настолько же, насколько этот наш современник отличен от крестьянина средних веков.

Очевидно, что эти еНОМО не появятся ниоткуда: можно сказать, что они уже среди нас, да и сами мы, пусть немного, но ими являемся. Те, кто уже сегодня активно пользуются интернетом, мобильником, персоналкой, начинают, не осознавая того, превращаться в этот новый вид, который сохраняет принадлежность к биологическому homo, но качественно все более отличается от него за счет врастания в развивающуюся электронную среду обитания.

Никаких сомнений, что возникновение «нового человека» – это неизбежный закономерный процесс, который может остановить сегодня разве что мировая катастрофа. Интеллектуализация является двигателем этого процесса, поскольку как раз и направлена на то, чтобы взаимодействие с полезным устройством сделать простым и эффективным.

Нетрудно представить надежный мобильник с парой кнопок, по которому первобытный человек в Андах (а такие есть не только там) сможет говорить с любым соплеменником, или спросить погоду на завтра, или позвать на помощь. А от этого уровня до интереса к телесериалам один шаг... Правда, дальше в мировую культуру дорога намного более крута и число еще предстоящих на ней ступеней интеллектуализации определить пока невозможно.

Мы у порога нового этапа цивилизации, касающегося как всего человечества, так и каждого человека, его личности, тела, образа жизни и даже души. В такой перспективе кажется не столь уж важным, кто будет управлять огромным муравейником еНОМО: искусственный интеллект или еНОМО из числа высшего руководства.

Трансформация в еНОМО только начинается, но мы уже не те НОМО, которыми были 20 лет назад, хотя пока и не такие, какими станем через 10–20–30 лет, т.е. еще при жизни основной части нынешнего поколения. Электронная среда будет для нового человека не только внешней, она проникнет внутрь его организма в виде чипов и микроустройств чуть ли не молекулярного размера.

Поскольку проблема еНОМО – это не какое-то далекое будущее, а наше весьма близкое завтра, а в чем-то даже и сегодня, мне кажется, что она заслуживает специального широкого обсуждения.

Где нужен ИИ сейчас?

Пока до «окончательного» ИИ еще весьма далеко, стоит выяснить, в каких областях наиболее востребованы методы интеллектуализации сегодня. Все их здесь, конечно, не перечислишь, но стоит привести несколько примеров.

– Прежде всего ясно, что в интеллектуализации нуждаются практически все сферы использования современных ИКТ, – например, любое рабочее место в составе всякой сложной прикладной компьютерной системы.

– Виртуальная реальность: от игр, в которые играют как дети, так и взрослые, до профессиональных тренажеров и компьютерных технологий в кино и на телевидении.

– Роботы – те автономные устройства, которые еще очень далеки от своих фантастических прообразов, но уже стали необходимыми в технике и начинают быть полезными даже в быту.

– Растущий поток текстовых, акустических и визуальных данных требует все более содержательной обработки (в том числе и упомянутого машинного перевода) и не может оставаться без интеллектуальных технологий поиска, анализа и синтеза всех видов информации.

– Экспертные системы нужны практически в каждой области, как только она осваивает технический уровень ИКТ; начиная свое внедрение, этот авангард ИИ немедленно требует формирования специализированных баз знаний, диагностики и систем поддержки решений, т.е. основы своего дальнейшего развития.

Во всех перечисленных областях, а также во многих других приложениях ИИ ключевыми остаются – и, видимо, еще долго будут – две доминанты:

1. Интеллектуализация пользовательского интерфейса, поскольку «взаимопонимание» пользователя и компьютера является необходимым условием эффективности любой человеко-машинной системы;

2. Повышение качества работы самого компьютера, которая сводится в конце концов ко все более результативному решению все более сложных задач, как хорошо, так и все более плохо формализуемых.

Марафон «Будущее»

Я выбрал метафоры горного эффекта и лабиринта для иллюстрации того, что сегодня ИИ еще не вышел из пеленок, и если он пока не многое может, то у него все еще впереди. Что касается еНОМО через несколько десятков лет, мы тоже пока можем только воображать – возможно, не с большим правдоподобием, чем братья Райт – истребитель Стелз.

Таким образом, разворачивающийся очередной этап марафона «Будущее» включает три участника – человека, ИИ, а теперь еще и еНОМО.

Для нас ставки упираются в ключевой вопрос: можно ли сказать, что изучать скрытые или забытые возможности человека теперь бессмысленно, поскольку развитие его способностей уже подошло к своему пределу?

Поскольку я уверен, что эти скрытые способности огромны, то согласен с той точкой зрения, что человек сам о себе знает очень мало и сменив сегодняшнее техногенное направление развития на homo-центрическое, он мог бы совершить необходимый крутой поворот в своем развитии, сохранив в еНОМО ведущую роль НОМО по отношению ко всему огромному спектру возможностей, добавляемых приставкой «е».

Другими словами, все три участника «рывка в будущее» – включая и человека – пока еще только обозначены пунктиром. К сожалению, наш электронный век работает в этом марафоне на еНОМО, меньше на ИИ, и совсем в последнюю очередь на человека.

Хотел бы добавить к этому, что несколько лет назад я опубликовал доклад «Искусственный интеллект: стагнация или новая перспектива?». И тогда, и сейчас я не то что надеюсь – я знаю наверняка, что мы находимся на пороге «большого скачка» не столько в ИИ, сколько в интеллектуальных технологиях.

Это особенно важно для текущего этапа развития ИКТ, где объем и качество прикладных результатов резко возрастут. И главное, что это может быть сделано здесь, в России.

Однако сегодня эта возможность дальше, а не ближе – сказывается общее положение дел во всей отечественной науке за последние 15 лет. Если это продлится еще год-два, то наш шанс стать лидером – или хотя бы участником – этого «рывка в будущее» останется навсегда упущенным.

ИИ и все что с ним связано

Яндекс.Словари: Навык
Навык - действие, сформированное путем повторения, характеризующееся высокой степенью освоения и отсутствием поэлементной сознательной регуляции и контроля. Различают Н. перцептивные, интеллектуальные, двигательные. Перцептивный Н. - автоматизированное чувственное отражение свойств и характеристик хорошо знакомого, неоднократно воспринимавшегося ранее предмета. Интеллектуальный Н. - автоматизированный прием, способ решения встречавшейся ранее задачи. Двигательный Н. - автоматизированное воздействие на внешний объект с помощью движений в целях его преобразования, неоднократно осуществлявшееся ранее. Двигательные Н. включают в себя перцептивные и интеллектуальные Н. и регулируются ими на основе автоматизированного отражения предмета, условий и порядка осуществления актов действия, направленного на преобразование реальных объектов. Различают также Н. исходно автоматизированные, формирующиеся без осознания их компонентов, и Н., вторично автоматизированные, которые формируются с предварительным осознанием компонентов действия и при необходимости легче становятся сознательно контролируемыми, быстрее совершенствуются и перестраиваются. Н. характеризуются и разной степенью обобщенности: чем шире класс объектов, по отношению к которьм Н. может быть осуществлен, тем более он обобщен и лабилен.

Яндекс.Словари: Умение
Умение - освоенный субъектом способ выполнения действия, обеспечиваемый совокупностью приобретенных знаний и навыков. У. формируется путем упражнений и создает возможность выполнения действия не только в привычных, но и в изменившихся условиях.

Яндекс.Словари: Опыт
Опыт - способ познания действительности, основанный на его непосредственном, чувственном практическом освоении. О. служит важным источником информации как о внешнем объективном мире, так и о психической жизни субъекта. В психологии понятие об О. приобрело особые признаки в связи с представлением о том, что ее предметом служит сознание как сфера, явления которой могут быть постигнуты только в качестве непосредственных данных самоопределения субъекта. Это воззрение под именем внутреннего О. легло в основание интроспективной психологии, которая была подвергнута острой критике в бихевиоризме, претендующем на строго объективное, опытное изучение поведения. Однако в русле бихевиоризма сложилось одностороннее понимание О. как совокупности данных о непосредственно наблюдаемых внешних реакциях организма на раздражители. Прогресс в психологии привел к преодолению обоих подходов и утверждению идеи об органическом сочетании в научном О. как данных непосредственного наблюдения, так и факторов, которые могут быть познаны только опосредствованно.

Яндекс.Словари: Голем
Голем - в исторической психологии легендарное воплощение отчужденных человеческих возможностей, искусственный человек, созданный якобы в средневековой Праге. Метафора Г. неоднократно использовалась в современной психологической науке при обсуждении взаимовлияния кибернетики и психологии, искусственного интеллекта, инженерии знаний и пр. Г. представляет именно подобие человека и в силу этого не располагает всей полнотой его возможностей, в частности, творческих. В то же время Г. способен высвобождаться из-под власти жестко заданных программ управления его поведением.

Яндекс.Словари: Вера
Вера (в психологии) [лат. veritas - истина, verus - истинный] - 1) особое состояние психики, заключающееся в полном и безоговорочном принятии человеком, его разумом и душой, фактов внутреннего и внешнего существования живого, истинного откровения; фиксируясь в идеях и образах, эти факторы могут стимулировать и направлять последующие деяния человека; 2) "признание чего-либо истинным с такой решительностью, которая превышает силу внешних фактических и формально-логических доказательств. Это не значит, что истины В. не подлежат никаким доказательствам, а значит только, что сила В. зависит от особого самостоятельного психологического акта, не определяемого всецело эмпирическими и логическими основаниями" (Вл. Соловьев). В. и неверие являлись предметом исследования многих поколений теологов, философов, а в последнее время и психологов. Поскольку человек постоянно сталкивается с разнообразными ситуациями, требующими от него принятия решения, а полной информацией он, как правило, не располагает, то это вынуждает его либо верить (доверять и вверяться) кому-либо или чему-либо, либо сомневаться, не верить, отвергать предложенное или случившееся. Принято связывать понятие В. преимущественно с понятием В. религиозной, а все остальные варианты его использования называть В. светской. В философской литературе последнего времени выделяется еще понятие В. духовной, частично пересекающееся с В. религиозной. Содержательно понятие В. двойственно (дуалистично), поскольку, с одной стороны, отражает трактовку разума (трезвого, сомневающегося рассудка), а с другой - трактовку некоторых религиозных систем (например, христианства), в которых В. выступает центральной мировоззренческой аксиомой. С религиозных позиций В. есть следствие непосредственно чувствуемого, переживаемого и осознаваемого разумом человека живого и истинного откровения. Такая В. не подвержена сомнениям, не требует доказательств и обнаруживает себя как созерцание факта невидимого, проявленного в факте видимом (А. Хомяков). Объекты В. (разнообразные представления, факты, явления природной, социальной и духовно-интеллектуальной действительности и т. п.) не даны субъекту чувственно (иначе они будут объектом знания), а предполагаются как вероятные, выступающие в форме возможности. Если возможность переходит в действительность, то В. переходит в уверенность (твердое знание, отсутствие сомнений). В качестве субъекта В. могут выступать отдельный индивид, социальная группа, общество, все человечество. При этом В., как особое состояние субъекта, отражает не только то конкретное, на что она направлена (предмет В.), но, главным образом, эмоциональное и ценностное отношение к нему, отражающее потребности и интересы этого субъекта.

Яндекс.Словари: Чувства
Чувства - высшая форма эмоционального отношения человека к предметам и явлениям действительности, отличающаяся относительной устойчивостью, обобщенностью, соответствием потребностям и ценностям, сформированным в его личностном развитии. В отличие от аффектов и ситуативных эмоций, отражающих временную или условную ценность предметов и побуждающих к решению частных задач, Ч. направлены на явления, имеющие постоянное мотивационное значение, и отвечают за общую направленность деятельности. Эмоционально окрашивая явления, значимые для потребностей личности, и побуждая к активности по их удовлетворению, Ч. проявляются как конкретно-субъективная форма их существования. Формирование устойчивых эмоциональных отношений - важнейшее условие развития человека как личности, главная цель и конечный продукт его воспитания. Самого по себе знания мотивов, идеалов, норм поведения недостаточно для того, чтобы человек ими руководствовался; только став предметом устойчивых Ч., эти знания превращаются в реальные побуждения к деятельности. Ч. человека историчны и изменяются в зависимости от конкретных социальных условий. Обычно в онтогенезе Ч. появляются позже, чем ситуативные эмоции; они формируются по мере развития индивидуального сознания и усложнения отражаемых в нем связей под влиянием воспитательных воздействий со стороны семьи, школы, искусства, других источников. Предметами Ч. становятся прежде всего те явления и условия, от которых зависит развитие значимых для личности и поэтому воспринимаемых эмоционально событий (например, радость от добрых дел некоторого человека станет основой появления к нему положительного Ч.). Поэтому воспитание Ч. предполагает открытие человеку причин непосредственно волнующих его событий, обобщение и направление на них его эмоционального опыта. Возникая как результат обобщения ситуативных эмоций, сформировавшиеся Ч. становятся ведущими образованиями эмоциональной сферы человека и начинают, в свою очередь, определять динамику и содержание ситуативных эмоций; так из Ч. любви к человеку в зависимости от обстоятельств могут развиться тревога за него, горе при разлуке, радость при встрече, разочарование, если он не оправдал надежд и т. п. Такие ситуативные эмоции уточняют содержание Ч. в отношении сложившихся условий и, побуждая к определенным действиям, способствуют развитию вызываемой Ч. деятельности. Иногда Ч. и сопряженные с ними эмоции могут вызывать противоречивые отношения к их объекту. В процессе формирования личности Ч. организуются в иерархическую систему, в которой одни Ч. занимают ведущее положение, другие же остаются потенциальными, нереализуемыми тенденциями. Содержание доминирующих Ч. определяет важную характеристику человека - направленность личности. Ч., получившие исключительную силу и подчинившие себе другие побуждения человека, называются страстями. Наиболее распространенная классификация Ч. выделяет отдельные их подвиды по сферам деятельности, в которых они проявляются; на этом основании различаются интеллектуальные, нравственные, познавательные, праксические, религиозные, родительские, эстетические и другие Ч. По степени обобщенности предметного содержания Ч. подразделяются на конкретные (например, Ч. к ребенку, произведению искусства), обобщенные (Ч. к детям вообще, к музыке) и абстрактные (Ч. справедливости, трагического). Отсутствие исчерпывающей классификации Ч. объясняется большим их разнообразием, а также их исторической изменчивостью. В психологической литературе нет единства мнений относительно онтологической природы Ч. Ряд авторов полагают, что они как самостоятельные эмоциональные явления не существуют, а термин "Ч." представляет собой абстракцию для обобщенного обозначения всего множества связанных с некоторым объектом ситуативных эмоций. Согласно другим Ч. являются полноценными эмоциональными явлениями, малозаметность которых объясняется их глубинностью, легко затмеваемой более бурными проявлениями развивающихся из них поверхностных ситуативных эмоций. В психологии термин "Ч." применяется и в других значениях. Так, в сочетании "органы чувств" он обозначает познавательное явление и не имеет никакого эмоционального значения. В учении В. Вундта Ч. названы самые элементарные эмоциональные переживания, неминуемо сопровождающие каждое получаемое живым существом ощущение; множество одновременно сосуществующих Ч. находятся в постоянном взаимодействии и слиянии, причем этот процесс имеет многоступенчатый характер: близкие в некотором отношении элементарные Ч. объединяются по определенным законам в Ч. первого порядка, те, в свою очередь, в Ч. второго порядка и т. д. Человеком осознаются только высшие уровни такой выстраивающейся иерархии Ч., поэтому он, например, имея отчетливое эмоциональное впечатление от просмотренного спектакля, обычно не способен отследить вклад в это впечатление некоторой детали декораций или освещения. Одна из функций вундтовских Ч. состоит в том, что они готовят возникновение ситуативных эмоций, представляющих собой вторую фазу развития общего чувственного процесса. Таким образом, как Ч. - устойчивые отношения личности, так и Ч. - элементарные эмоциональные явления, имеют отношение к возникновению находящихся как бы между ними ситуативных эмоций.

Яндекс.Словари: Желание
Желание - отражающее потребность переживание, перешедшее в действенную мысль о возможности чем-либо обладать или что-либо осуществить. Имея побуждающую силу, Ж. обостряет осознание цели будущего действия и построение его плана. Ж. как мотив деятельности характеризуется достаточно отчетливой осознанностью потребности. При этом осознаются не только ее объекты, но и возможные пути ее удовлетворения.

Яндекс.Словари: Воля
Воля - свойство человеческой психики, проявляющееся в активной самодетерминации и саморегуляции человеком своей деятельности и поведения вопреки внешним и внутренним препятствиям, влияниям и воздействиям. Понятие "В." было введено в античный период для объяснения порождения действия, но не всякого, а лишенного стремления человека к нему. Как и два других основных понятия (разум и чувство), понятие "В." в истории науки дифференцировалось. Из проблемы В. выделились, как самостоятельные, исследования свободы воли, принятия решений, целеобразования, а в последнее время и саморегуляции. Произошла также и смена проблемы, в рамках которой ставился вопрос о необходимости понятия "В.". Первоначально в работах Аристотеля В. вводилась в связи с проблемой порождений действия на основе разумного решения о его необходимости, но мотивационно необеспеченного. Т. е. речь шла о действиях необходимых, но не имеющих субъективно переживаемых желаний к ним (обратная задача связана с торможением желаемого действия, но социально или личностно неприемлемого). Затем В. стала наделяться функцией выбора в случае конфликтов мотивов и целей. Такое понимание В. ярко представлено в работах Б. Спинозы. В ХХ в. проблема В. стала обсуждаться в связи с задачей преодоления препятствий, снижающих побуждение к действию. В работах К.Н. Корнилова, В.И. Селиванова, П.А. Рудика, А.Ц. Пуни и других В. связывалась с мобилизацией усилий по преодолению внешних и внутренних препятствий, возникающих при реализации действий. Л.С. Выготский поставил проблему В. в связи с задачей "овладения собой", т. е. развития произвольности, сознательного управления человеком своими процессами и поведением. В настоящее время существуют несколько вариантов понимания и исследования В.: либо выделение всех реальностей, для которых вводилось понятие "В.", и выбор одной из них как отвечающей современному пониманию В.; либо выделение во всех реальностях того общего, что позволяет все их связать с В.; либо изменение содержания понятия "В." для обозначения какой-то новой реальности.

Яндекс.Словари: Эмоции
Эмоции [лат. emoveo - потрясаю, волную] - особый класс психических явлений, выражающих в виде пристрастного субъективного переживания значение отражаемых предметов и ситуаций для удовлетворения потребностей живого существа. Выделяя в образе действительности жизненно значимые явления и побуждая направить на них активность, Э. служат одним из главных механизмов психической регуляции поведения. В большинстве философских учений Э. рассматривались в качестве активных сил, способных направлять мысли и поступки человека как согласованно с его разумными решениями, так и вопреки им. Отступления от этой тенденции связаны с распространением трихотомной схемы психического (И. Тетенс, И. Кант), отделившей от Э. в класс волевых явлений желания и другие побуждающие активность переживания. Разрыв между Э. и действием, заложенный данной схемой, сохраняет и современная экспериментальная психология, изучающая Э. и потребности (мотивацию) в относительной независимости. Согласно представлению, рассматривающему желания как разновидность эмоциональных явлений, Э. в целом служат выражению потребностей и определяются как конкретно-субъективная форма существования мотивации. В биологической эволюции Э. возникли как средство, позволяющее живым существам определять биологическую значимость состояний организма и внешних воздействий. Простейшая форма Э. - т.н. эмоциональный тон ощущений - положительные или отрицательные переживания, сопровождающие отдельные жизненно важные воздействия (например, вкусовые, температурные) и побуждающие индивида к их сохранению или устранению. При столкновении с условиями, способствующими или препятствующими поведению, возникают ситуативные Э., выражающие значение этих условий для удовлетворения потребностей. Важную регулирующую роль среди них играют Э., возникающие при столкновении с успехом или неуспехом (радость, огорчение) и способствующие приобретению полезных и устранению не оправдавших себя форм поведения. В экстремальных условиях, если субъект не находит выхода из возникшей ситуации, развиваются аффекты. По биологическому назначению Э. представляют собой форму актуализации видового опыта: ориентируясь на них, индивид совершает необходимые действия (например, по избеганию опасности, продолжению рода), целесообразность которых остается для него скрытой. Э. важны и для приобретения индивидуального опыта. Выполняя в процессах обусловливания функцию положительного или отрицательного подкрепления, они создают возможность предвосхищать удачи или затруднения в будущем и тем самым облегчает поиск оптимальных путей достижения цели. Развитие Э. человека определялось необходимостью их направления на новые социально значимые явления. Формирование новых эмоциональных отношений в результате специально направленных воспитательных воздействий - важнейшее условие социального развития человека. Высший продукт развития Э. человека - чувства, выражающие его стабильные эмоциональные отношения к явлениям жизни, другим людям, самому себе. Сильное, абсолютно доминирующее чувство называется страстью. События, сигнализирующие о важных изменениях в жизни человека, могут вызвать также изменения общего эмоционального фона - т.н. настроения. Относительно кратковременными, наиболее динамичными и заметными являются ситуативные Э. - непосредственные эмоциональные реакции человека на предметы и события, так или иначе влияющие на выполняемую деятельность. Они вызываются реальными или предвосхищаемыми достижениями в деятельности (радость, огорчение, надежда), способствующими или препятствующими ей условиями или людьми (гнев, симпатия, возмущение) и т. п. Характер и динамика ситуативных Э. определяются как объективными событиями, так и чувствами, из которых они развиваются (например, из любви может развиться гордость за любимого человека, огорчение из-за его неудач, ревность и т. п.). Э. человека различаются степенью осознанности. Конфликт между осознанными и неосознанными Э. чаще всего лежит в основе неврозов. Важную роль Э. играют в этиологии и синдромах также и других психических и психосоматических заболеваний. В простых эмоциональных переживаниях принято выделять качественные (знак и модальность: удивление, восторг, печаль и т. д.) и динамические (продолжительность, интенсивность) характеристики. Развитие Э. в онтогенезе приводит к значительному усложнению как их самих, так и вызывающих их объектов, появлению способности регулировать Э. и их выражение, одновременно переживать целое множество взаимодействующих, частично сливающихся или противоречащих эмоциональных качеств. Важнейший источник обогащения эмоционального опыта человека - сопереживания, возникающие в общении с другими людьми, при восприятии произведений искусства, под влиянием средств массовой информации. Э. выступают в роли регулятора человеческого общения, влияя на выбор партнеров общения и определяя его способы и средства. Свое основное назначение - направление активности на жизненно значимые цели - Э. выполняют, оказывая влияние на содержание и динамику познавательных психических процессов (восприятие, воображение, внимание, память, мышление). Необходимый для активности уровень энергетической мобилизации (активации) организма Э. регулируют через вегетативную нервную систему и ретикулярную формацию, связанные с центральным нервным субстратом Э. в лимбических структурах мозга. Кроме многочисленных изменений в состоянии внутренних органов, гладкой и скелетной мускулатуры, биохимических и электроэнцефалографических процессов, Э. сопровождаются выразительными движениями в мимике, пантомимике, звуковых реакциях и т. д., сложившимися в эволюции как средство внутривидового общения. У человека природная эмоциональная экспрессия сохраняется как базис, на котором развиваются более дифференцированные формы выражения Э., специфические для разных культур.

Яндекс.Словари: Интеллект
Интеллект [лат. intellectus - разумение, понимание, постижение] - относительно устойчивая структура умственных способностей индивида. В ряде психологических концепций И. отождествляют с системой умственных операций, со стилем и стратегией решения проблем, с эффективностью индивидуального подхода к ситуации, требующего познавательной активности, с когнитивным стилем и др. В современной западной психологии наиболее распространенным является понимание И. как биопсихической адаптации к наличным обстоятельствам жизни (В. Штерн, Ж. Пиаже и др.). Попытка изучения продуктивных творческих компонентов И. была предпринята представителями гештальтпсихологии (М. Вертгеймер, В. Келер), разработавшими понятие инсайта. В начале ХХ в. французские психологи А. Бине и Т. Симон предложили определять степень умственной одаренности посредством специальных тестов. Их работами было положено начало широко распространенной до настоящего времени прагматистской трактовке И. как способности справляться с соответствующими заданиями, эффективно включаться в социокультурную жизнь, успешно приспособляться. При этом выдвигается представление о существовании базовых структур И., независимо от культурных влияний. С целью совершенствования методики диагностики И. были проведены (как правило, с помощью факторного анализа) различные исследования его структуры. При этом разными авторами выделяется различное количество базовых "факторов И.": от 12 до 120. Такое дробление И. на множество составляющих препятствует пониманию его целостности. Отечественная психология исходит из принципа единства И., его связи с личностью. Большое внимание уделяется исследованию взаимоотношения практического и теоретического И., их зависимости от эмоционально-волевых особенностей личности. Содержательное определение самого И. и особенности инструментов его измерения зависят от характера соответствующей общественно значимой активности сферы индивида (учение, производство, политика и др.). В связи с успехами научно-технической революции, развитием кибернетики, теории информации, вычислительной техники широкое распространение приобретает термин "искусственный И.". В сравнительной психологии исследуется И. животных.

Яндекс.Словари: Разум и рассудок
Разум и рассудок (в философско-психологической традиции) - два типа работы логического мышления. Рассудок, будучи одним из моментов движения мысли к истине, оперирует в пределах сложившегося знания данными опыта, упорядочивая их согласно твердо установленным правилам, что придает ему характер "некоего душевного автомата" (Б. Спиноза), которому присущи жесткая определенность, строгость разграничений и утверждений, тенденция к упрощению и схематизации. Это позволяет правильно классифицировать явления, приводить знания в систему. Рассудок обеспечивает успешную адаптацию индивида к привычным познавательным ситуациям, в особенности при решении утилитарных задач. Ограниченность рассудка заключается в его негибкости и категоричности, в его неспособности выйти за пределы анализируемого содержания. В тех случаях, когда умственная деятельность человека исчерпывается операциями рассудка, она становится абстрактно-формальной. Разум дает знания более глубокого и обобщенного характера. Схватывая единство противоположностей, он позволяет постичь различные стороны объекта в их несходстве, взаимопереходах и сущностных характеристиках. Разум обладает способностью анализировать и обобщать как данные чувственного опыта, так и собственные формы, наличные мысли и, преодолевая их односторонность, вырабатывать отображающие диалектику объективного мира понятия. Выход за пределы наличного знания и порождение новых понятий - основное отличие разума от рассудка, предполагающего оперирование уже известными понятиями. Разум конструктивен, рефлексивен, ориентирован на социальные цели высшего уровня. В реальной работе логической мысли рассудок и разум внутренне связаны как компоненты целостного процесса познания.

Яндекс.Словари: <Ум>
Ум - обобщенная характеристика познавательных возможностей человека (в отличие от чувств и воли). В более узком смысле - индивидуально-психологическая характеристика мыслительных способностей человека.

Рубрикон. Энциклопедии, словари, справочники

Иррационализм (от лат. irrationalis — неразумный), обозначение идеалистических течений в философии, которые, в противоположность рационализму, ограничивают или отрицают возможности разума в процессе познания и делают основой миропонимания нечто иррациональное, т. е. недоступное разуму или иноприродное ему, утверждая алогичный и иррациональный характер самого бытия. Понятие «И.» объединяет разнородные философские системы и направления, выдвигающие на первый план те или иные внерациональные аспекты духовной жизни человека: волю (в волюнтаризме), непосредственное созерцание, чувство, интуицию (в интуитивизме), мистическое «озарение», воображение, инстинкт, «бессознательное» и т. п. Иррационалистическими по своему исходному содержанию являются все религиозные и религиозно-философские учения, хотя в своём дальнейшем истолковании они и используют формы рационального мышления.

И. с его принижением или отрицанием рационального познания следует отличать от агностицизма, утверждающего принципиальную невозможность объективного познания мира вообще.

Если в самом общем смысле иррационалистические тенденции прослеживаются на протяжении всей истории философии (они характерны, например, для средневековой мистики, которая, в отличие от рационалистических претензий схоластики, видела путь постижения бога в сверхразумном созерцании и чувстве), то в более узком смысле термин «И.» относят к тем течениям буржуазной философии, которые складывались в противопоставлении себя рационализму нового времени. Таковы, например, «философия чувства и веры» Г. Якоби, противостоящая просветительскому рационализму, «философия откровения» позднего Ф. В. Шеллинга, волюнтаристическая концепция А. Шопенгауэра (Германия) и учение С. Кьеркегора (Дания), представляющие собой своеобразную реакцию на идеалистический рационализм немецкой классической философии, в частности панлогизм философии Г. Гегеля. Крупнейшими представителями И. в середине 19 в. были Ф. Ницше, родоначальник философии жизни, и Э. Гартман (Германия) с его «философией бессознательного».

Иррационалистические умонастроения получают широкое распространение в связи с кризисом буржуазного общества и его культуры в конце 19—20 вв. И. особенно проявляется в таких течениях, как философия жизни (В. Дильтей, Германия, А. Бергсон, Франция, и др.) и экзистенциализм (М. Хайдеггер, Германия, и др.), но иррационалистические тенденции присущи и другим направлениям современной буржуазной философии (например, некоторым разновидностям неопозитивизма и др.). И. представляет собой прямую противоположность марксистско-ленинской философии, научному, материалистическому мировоззрению.

Пока идея проекта - Репетитор

Возникла идея создать программу, следующего содержания.

Программа-игра: Репетитор по английскому языку для русскоязычных людей.

Цели программы:

1. Наглядно обучить человека английскому языку.
2. Помогать строить предложения, тексты на английском языке.
3. Как дополнительные цели: переводить текст с русского на английский, переводить с английского на русский.

Основные принципы программы:

1. Позволять человеку наглядно(графически) строить семантические(смысловые) модели предложений.
2. При построении модели предложения описывать его по русски.
   
3. По построенной модели генерировать текст на английском языке.
4. Модели создаются из блоков: слова, словосочетания, устоявшиеся выражения.
5. Каждому блоку может соответствовать картинка, звуковой файл.
6. Созданные блоки и модели можно сохранить в БД (локально или на сайте), таким образом пользователи могут наполнять содержимое программы.

Особенности:

1. Считается что основной язык - русский, генерируемый язык - английский.

Игровая составляющая программы:

1. Самостоятельное написание английского текста по модели предложения.
2. Перевод английских предложений в модели, которые затем преобразуются в русские предложения.
   

Распространение программы:

1. Программа должна распространяться бесплатно с минимальным набором моделей.
2. Продаваться могут расширения модулей по тематикам.

Использование технологии Semantic Web в системе поиска несоответствий в текстах документов

Андреев А.М. Березкин Д.В. Рымарь В.С. Симаков К.В.
НПЦ "ИНТЕЛТЕК ПЛЮС"
arka@inteltec.ru

Аннотация

В статье изложен ряд технологических решений, принятых при разработке системы выявления несоответствий в текстах редактируемых документов. Для выявления несоответствий в качестве эталона система использует онтологию предметной области. Приведена функциональная схема системы, описана логика работы основных модулей.

Введение

Быстро увеличивающееся количество электрон-ных документов на естественных языках поставило задачу выявления несоответствия информации, содержащейся в них, некоторому эталонному описанию предметной области.

В отличие от предыдущей работы [16], где основной упор делался на выявление противоречий в юридических документах, в данной работе решается задача выявления в текстах документов несоответствий, таких как: ошибочные должности сотрудников организаций, ссылки на устаревшие структурные подразделения организаций, неправильные телефонные номера должностных лиц. Выявление несоответствий являются частным случаем поиска противоречий в текстах документов, при этом модель несоответствия является упрощенным вариантом модели противоречия. Несоответствие в данном случае трактуется как неэквивалентность факта, выявленного при анализе текста, имеющимся в базе знаний фактам.

Обзор существующих технологий и стандартов

Задачи хранения, извлечения, получения и анализа знаний решаются в рамках направления, получившего названия Semantic Web [2]. В обоих случаях необходимо иметь структурированные хранилища информации и множества правил вывода, которые компьютеры бы использовали для автоматических рассуждений [3]. Учитывая многолетний опыт разработки, стандартизации и развития технологий Semantic Web в рамках World Wide Web Consortium[4], использование существующих разработок в этой области является закономерным.

Сейчас уже создан ряд важнейших технологий (представленных на рисунке 1): Расширенный Язык Разметки (Extensible Markup Language, XML) [5], Система Описания Ресурсов (Resource Description Framework, RDF)[6], Язык Сетевых Онтологий (On-tology Web Language, OWL)[1], используемых для описания, хранения и распространения знаний. Так же стоит выделить SPARQL Язык запросов к RDF (SPARQL Query Language for RDF)[7], который 6 апреля 2006 года стал кандидатом к рекомендации W3C, так же ведутся работы по стандарту протокола SPARQL для RDF и стандарта, определяющего XML-формат представления результатов обработки SPARQL-запросов.

Рис. 1. Рекомендации W3C касательно Semantic Web.

Применение существующих стандартов и технологий позволит использовать уже готовые программные продукты и компоненты сторонних разработчиков. При этом в дальнейшем с развитием технологий Semantic Web можно ожидать появления еще большего числа разработок в этой области.

Система семантического контроля текстов редактируемых документов

Одна из основных функций такой системы - выделение в текстовом документе (например, в MSWord) словосочетаний с предполагаемым нарушением семантических связей. Эту же задачу можно сформулировать и как поиск противоречий между знаниями, выявленными в тексте и знаниями, хранящимися в онтологии.

Предложена система, решающая указанные задачи, структура которой представлена на рисунке 2. На рисунке 2 показаны АРМы пользователей системы, а также отмечены средства разработки отдельных модулей системы.

Рис. 2. Структура системы семантического контроля текстов.

С точки зрения работы с системой можно выде-лить 4 АРМ:

• Пользователь,

• Администратор "Правил извлечения",

• Администратор "Онтологии",
• Администратор "Серверов анализа текста и базы данных".

АРМ - администратор "Серверов анализа текста и базы данных". Функции этого АРМ сводятся к первоначальной настройке (или дополнительной настройке) серверов базы данных и анализа текста.

АРМ - администратор правил извлечения. Задача данного АРМ - формирование правил извлечения, используемых модулем анализа текстов сервера.

АРМ - администратор "Онтологии". Основная функция - управления онтологией. В частности создание, удаление, наполнение, выгрузка области онтологии. Функции:

АРМ - Пользователь. Пользователи системы работают в текстовом редакторе (например, MS Word). С помощью этого АРМа конечные пользователи реализуют такие функции системы как:

автоматическое (по команде пользователя) выделение в тексте терминов и словосочетаний, присутствующих в онтологии;

выделение в тексте словосочетаний с предполагаемым нарушением семантических связей;

просмотр в онтологии терминов и словосочетаний, выделенных в тексте автоматически или пользователем;

В текстовом редакторе, пользователю необходимо нажать соответствующую какой - либо функции кнопку. Далее система в автоматическом режиме выполнит запрос к серверу анализа текста и по результатам его выполнения внесет соответствующие выделения в текст или выведет справочную информацию.

Центральной частью системы является "Сервер анализа текста". Обращение к этому серверу происходит из программы работы с текстом, которая подает на обработку серверу рабочий текст пользователя. После выполнения анализа сервер возвращает тот же текст с указанием форматирования отдельных слов, словосочетаний и фраз. Пользователю, работающему с документом в текстовом редакторе, подсвечиваются словосочетания с предполагаемым нарушением семантических связей. Среди дополнительных функций можно выделить выдачу справок на основе информации, имеющейся в базе знаний. Рассмотрим подробнее функции и способы реализации каждой из частей.

Функция программы работы с текстом сводятся к передаче текста документа серверу анализа текста, получению от него результата анализа и форматирование фрагментов текста, на которых следует заострить внимание (выделение цветом, подчеркивание и т.п.). Дополнительно эта программа посылает запросы к серверу анализа текста на выдачу справок на основе информации, имеющейся в онтологии.

Сервер анализа текста имеет одну точку подключения для взаимодействия с программой работы с текстом и прикладными программами администрирования и управления. Модуль управления сервера анализа текста имеет ряд функций. Во-первых, это взаимодействие с программой работы с текстами и прикладными программами управления и администрирования. Во-вторых, это ведение журнала транзакций. Заметим, что проблемы безопасности и доступа к информации решаются на уровне сервера базы данных на основе учетных записей пользователя. На этот модуль возложены функции по обеспечению взаимодействия остальных модулей сервера и распределения нагрузки.

Текст, поступая в модуль управления, передаётся в модуль анализа текста. В настоящей работе мы не будем рассматривать вопросы функционирования этого модуля, а также метод извлечения фактов из текстов, который в нем реализован. Этим вопросам посвящен отдельный представленный на конференцию доклад авторов "Модель извлечения фактов из естественно-языковых текстов и метод ее обучения", здесь же мы сосредоточимся на вопросах, связанных с использованием онтологий для анализа текстов. Отметим лишь, что в этом модуле анализа текста происходит выявление знаний в тексте на основе pattern-based модели, основанной на образцах.

Модель знаний системы основана на онтологии, записанной на языке OWL. Базовый строительный блок модели данных - утверждение, представляющее собой тройку: ресурс (экземпляр класса для OWL), именованное свойство и его значение. В терминологии RDF эти три части утверждения называ-ются соответственно: субъект, предикат и объект [6]. Под свойством следует понимать некий аспект, характеристику, атрибут или отношение, используемое для описания ресурса. Каждое свойство имеет свой специфический смысл, допустимые значения, тип ресурсов, к которым оно может быть применено, а также отношения с другими свойствами. Согласно спецификации, значение свойства может иметь один из двух типов. Первый - это ресурс (экземпляр некоторого класса), задаваемый некоторым URI. Второй тип - литерал - есть некоторое текстовое значение характеристики. Впрочем, литерал может выражать собой значение любого примитивного типа данных, присутствующего в XML. Таким образом, свойства P языка OWL являются бинарными отношениями на C V или C C, где C являются классами, V литеральными значениями. Свойства первого типа связывают экземпляры классов с конкретными значениями, свойства второго типа связывают экземпляры классов друг с другом. Задача извлечения знаний при таких условиях сводится к созданию экземпляров классов, распознаванию значений и распознаванию свойств в естественно-языковых текстах. В общем случае в текстах можно найти упоминание о том или ином экземпляре класса только в рамках некоторого свойства. В этом случае удобно говорить о роли экземпляра в рамках свойства.

С учетом OWL ограничения о бинарности свойств, экземпляр класса может играть либо роль субъекта свойства, либо роль объекта. Для свойств типа C V экземпляр может выступать только в роли субъекта. Таким образом, извлекаемыми элементами являются либо тройки вида <i,p,t>, либо тройки вида <c1_i,p,c2_j>. Тройка <c_i,p,t> указывает на наличие в тексте свойства p типа C X V некоторого экземпляра i класса c, выраженного текстовым фрагментом t. Тройка <c1_i,p,c2_j> указывает на наличие свойства p типа C X C между извлеченным ранее экземпляром i класса c1 и экземпляром j класса c2.

Извлеченные тройки передаются модулю управления для последующей передачи модулю логического вывода. На рисунке 3 показан пример небольшого фрагмента текста подвергнутого анализу.

Рис. 3. Пример анализа текста.

Необходимо сразу отметить, что приведенные примеры являются чисто иллюстративными и их содержание служит лишь для пояснения рассматриваемых авторами технологий.
Результат работы модуля анализа текста над приведенным на рис. 3 примере представлен на рисунке 4.

Рис. 4. Факты, выявленные из текста.

Особенности проектирования онтологии системы

Необходимо отметить, что для заполнения базы знаний в системе используются несколько источников информации. Каждый из этих источников отвечает за отдельную локальную область разрабатываемой онтологии. Эти источники разнородны по форматам представления данных: различные базы данных, XML файлы и т.д., а также по ее семантике. Возможен режим работы, когда какие-то области формируются оператором. Ответственными за источники информации являются различные структурные подразделения организации или даже разные организации, что и определяет их большую разнородность. Логическое разделение онтологии на области проиллюстрированы на рисунке 5.

Рис. 5. Онтология логически разделена на локальные области.

В рамках данной статьи рассматривается локальная область "Кадровая база". Для нее в качестве источника используется XML файл. На основе анализа этого источника данных были выявлены основные понятия данной предметной области и связи между ними, далее определены для них классы и создана таксономия классов. На рисунке 6 представлен фрагмент таксономия классов предметной области "Кадровая база".
Заметим, что каждый экземпляр в мире OWL является членом класса owl:Thing. Таким образом, каждый определенный нами класс автоматически является подклассом owl:Thing. На рисунке 7 представлен фрагмент онтологии "Кадровая база" без учета таксономии классов.

Рис. 6. Фрагмент таксономии классов.

Схема онтологии создается для каждой предметной области в ручном режиме с помощью редактора онтологии, который будет описан ниже. Созданные таким образом онтологии используются программами загрузчиками онтологий, которые добавляют отдельные экземпляры классов и их свойства.

Рис. 7. Пример онтологии "Кадровая база".

Программа загрузчик использует определенный источник информации для наполнения онтологии, при этом каждая программа "ведет" свою поименованную область онтологии.

Модуль логического вывода

Основной задачей системы является выявление несоответствий извлеченных фактов и фактов, содержащихся в базе знаний. Она реализуется модулем логического вывода, который производит сопоставление фактов, извлекаемых из текста, фактам, содержащимся в базе знаний.
Рассмотрим подробнее логику работы модуля логического вывода. Как уже отмечалось, на вход поступает несколько вариантов извлечения (набор цепочек фактов). Необходимо рассмотреть все варианты извлечения и на основе наиболее "подходящего" сделать вывод о достоверности фактов. Как уже отмечалось, из текста извлекаются цепочки троек двух типов - факты, описывающие свойства - значения и свойства - объекты. Тогда наш анализ можно разделить на несколько стадий:
Опираясь на свойства - значения идентифицируем в онтологии экземпляры. Факты, описывающие такие свойства, имеют вид <Class_Id,PropertyId,Value>. Тогда в онтологии необходимо найти экземпляр класса с именем Class, у которого свойство - значение с именем PropertyId имеет значение Value. Заметим, что для некоторых экземпляров может существовать несколько определяющих их свойств - значений. Например,
<Functionary_1,hasName,"Иванов">
<Functionary_1,hasPatronymic," Иванович">
<Functionary_1,hasSurName,"Иванов">
В таких ситуациях выполняется поиск экземпляра, у которого описанные свойства имеют соответствующие значения. С другой стороны для некоторого количества свойств-значений может быть идентифицировано несколько экземпляров какого-то класса. Например, по тройке <Function-ary_1,hasSurName,"Иванов"> может быть найдено несколько экземпляров класса Functionary (функционер), у которых свойство hasSurName (имеет фамилию) имеет значение "Иванов".
Для всех идентифицированных экземпляров проверяем справедливость свойств - объектов, имеющих вид <Class1_Id1,PropertyId,Class2_Id2>. Каждый такой факт устанавливает связь (свойство - объект с именем PropertyId) между двумя экземплярами разных классов. Если на первом шаге было выявлено несколько экземпляров, необходимо произвести такой поиск для всех возможных вариантов.
Заметим, что на первом шаге можем идентифицировать не все объекты, тогда на втором шаге проверяем справедливость свойств - объектов только для найденных экземпляров. Рассмотрим подробнее анализ одной цепочки троек. На рисунке 8 проиллюстрирован алгоритм работы модуля логического вывода и показаны возможные варианты при рассмотрении одной цепочки фактов (варианта извлечения).
Рассмотрим каждый из вариантов:

1. Найдены все экземпляры, но не все связи между ними подтверждены. На основании только этого варианта извлечения можно сделать вывод о том, что в анализируемом фрагменте текста существует возможное нарушение семантических связей, дальнейший анализ этого фрагмента можно не проводить.
2. Найдены все экземпляры, и все связи между ними подтверждены. На основании только этого варианта извлечения можно сделать вывод о том, что в анализируемом фрагменте текста нет нарушения семантических связей, т.е. все извлеченные факты подтверждены фактами из онтологии. И дальнейший анализ такого фрагмента можно не проводить.
3. Не найдено ни одного экземпляра. Это говорит либо о неправильном извлечении фактов из текста, либо о неактуальности онтологии (онтология неполная или содержащаяся в ней информация устарела). В любом случае это необходимо зафиксировать в Log-файле для дальнейшего анализа.
4. Найдены не все экземпляры, и при этом не все связи между ними подтверждены. То, что не найдены все экземпляры говорит о неактуальности онтологии или об ошибках извлечения. Это необходимо зафиксировать в Log-файле для дальнейшего рассмотрения, но при этом дальнейший анализ можно проводить по найденным экземплярам. Т.к. не все связи между найденными экземплярами установлены, то предположительно в анализируемом фрагменте текста существует нарушение семантических связей. Т.к. идентифицированы не все экземп-ляры, необходим дальнейший анализ этого фрагмента, т.е. необходимо рассмотреть другие варианты извлечения.
5. - Найдены не все экземпляры, но все связи между ними подтверждены. То, что не найдены все экземпляры говорит о неактуальности онтологии или об ошибках извлечения. Это необходимо зафик-сировать в Log-файле для дальнейшего рассмотрения, но при этом дальнейший анализ можно проводить по найденным экземплярам. Т.к. все связи между найденными экземплярами установлены, то предположительно в анализируемом фрагменте текста нет нарушения семантических связей. Т.к. идентифицированы не все экземпляры, необходим дальнейший анализ этого фрагмента, т.е. необходимо рассмотреть другие варианты извлечения.

Теперь рассмотрим, как сделать вывод о нарушении или отсутствия нарушения семантических связей для всего набора цепочек.
Если при анализе одного варианта извлечения (одной цепочки) получается вариант 1 или 2, то можем сделать вывод обо всем рассматриваемом фрагменте текста и другие цепочки не рассматривать. Другой вариант, если при анализе всех цепочек получали только варианты 3, 4 или 5. Получение варианта 3 для всех цепочек говорит об ошибках извлечения или неактуальности онтологии, делать вывод на основе такого анализа невозможно, поэтому просто фиксируем этот факт в Log-файл. Если при рассмотрении всех цепочек (всех вариантов извлечения) для данного фрагмента встретился хотя бы один вариант 5 (т.е. остальные 3 или 4), то делаем вывод, что предположительно в данном фрагменте нет нарушения семантических связей. При наличии только вариантов 4 и, возможно, некоторых 3, делаем вывод о наличии возможного нарушения семантических связей. Таким образом, рассмотрены все возможные варианты, полученные при анализе каждой из цепочек.
Остановимся подробнее на формировании SPARQL запросов для поиска в онтологии модулем накопления. Рассмотрим два вида запросов: для свойств - значений и свойств - объектов.
Запрос для тройки, описывающей свойство - значение. Например, для тройки, извлеченной из фрагмента текста <Functionary_1,hasName,"Иванов"> сформируем SPARQL запрос к онтологии. Нам необходимо найти экземпляр или экземпляры класса Functionary, у которых свойство hasName имеет значение "Иван".

Рис. 8. Работа модуля логического вывода.

Это можно выполнить, например, с помощью следующего запроса:
SELECT ?x WHERE
{
?x rdf:type .
?x < hasName> "Иван"^^xsd:string.
}
В ответ на этот запрос мы получим список имен экземпляров класса Functionary, например, Functionary_765, Functionary_8765, Functionary_8766. Или ничего, если нет ни одного экземпляра, у которого свойство hasName имеет значение "Иван".
Запрос для тройки, описывающей свойство - объект. Например, для тройки <Function-ary_765,isMemberOf,Committee_2424> сформируем SPARQL запрос к онтологии. Это можно выполнить, например, с помощью запроса:
ASK WHERE
{
Functionary_765
< isMemberOf >
Committee_2424.
}
В ответ на этот запрос получим ответ в формате "YES"/"NO", что говорит о наличии/отсутствии такой связи (свойства-объекта) в онтологии.
Таким образом, цепочку троек свойств - значений делим на несколько частей, каждая из которых описывает один конкретный экземпляр. Затем, на основе каждой из частей генерируем SPARQL [7] запрос, который исполняется с помощью модуля накопления. В ответ на каждый запрос получаем список экземпляров (возможно пустой). После этого для всех свойств - объектов формируем запросы со всеми возможными вариантами найденных экземпляров. После выполнения всех таких запросов можем присвоить этой цепочке троек один из номеров варианта решения (от 1 до 5, см. рисунок 8). Исходя из варианта решения для текущей цепочки, анализируем остальные цепочки троек или делаем вывод о возможном нарушении семантических связей.
Таким образом, на основе набора вариантов извлечения модуль логического вывода принимает решение о возможном нарушении семантических связей.

Другие модули системы

Сервер базы данных выполняет две основные функции. Во-первых, хранение/обновление онтологии и выполнение к ней запросов. Во-вторых, разграничение прав доступа к онтологии. Так же важными функциями является ведение журнала доступа к серверу базы данных и возможность резервного копирования базы знаний. На сервере анализа текста предусмотрен так же модуль накопления. Он решает две задачи: обеспечивает взаимодействие с сервером базы данных, а так же формирует запросы для работы с онтологией. Это позволит использовать базы сторонних разра-ботчиков с минимальными изменениями в коде сер-вера анализа текста, локализованными в одном мо-дуле.
Так же существуют независимые прикладные программы. Например, программы управления онтологиями, предназначенные для ведения онтологии: создание, изменение, удаление. Каждая программа ведёт свою область онтологии, опираясь на конкретный источник. В качестве источников информации в общем случае могут выступать структурированные текстовые файлы (XML, HTML), базы данных, редакторы онтологий и т.д.
Таким образом, мы описали полный цикл работы системы - от загрузки и управления онтологией, до непосредственного выявления неэквивалентности фактов в тексте и в базе знаний.

Выбор средств разработки

Для эффективной разработки готовых систем в современных условиях с жесткими требованиями по времени необходимо использовать готовые компоненты и модули сторонних разработчиков. Особенно это актуально при использовании стандартизированных технологий. В нашем случае это работа с онтологией на языке OWL, выполнения запросов на языке SPARQL к RDF нотации этой онтологии. Для возможности использования компонентов сторонних разработчиков, необходимо чтобы они удовлетворяли нескольким требованиям: обладать API для работы с OWL онтологией, иметь возможность выполнять SPARQL запросы, иметь парсер для работы с онтологией, а так же использовать для хранения и работы с онтологией СУБД. Всем этим требованиям удовлетворяет Jena [9], разработанная HP Labs[10]. Jena - это набор свободно распространяемых библиотек, написанных на Java.
Jena включает:

• RDF API;
• Чтение/запись документов RDF в RDF/XML формате;
• OWL API;
• Хранилища онтологий в памяти и в СУБД;
• Выполнение SPARQL запросов.

В качестве СУБД, при работе с Jena, предлагается использовать MySQL, Oracle, PostgreSQL. В данной разработке сделан выбор в пользу MySQL [11], как надежной, быстродействующей, свободно распространяемой СУБД.
Таким образом, в качестве платформы разработки выбирана Java, в качестве сервера базы данных используется MySQL. Доступ к этой СУБД из Java программ осуществляется стандартными средствами MySQL (JDBC). Для работы с онтологиями используются средства Jena, библиотеки которой позволяют выполнять все необходимые нам операции. Заметим, что библиотеки Jena используются в модуле накопления сервера анализа текста и в аналогичных модулях прикладных программ управления онтологией.
В системе также имеется возможность создания и ведения области онтологии в ручном режиме с помощью редакторов онтологии. Существуют как коммерческие, так и свободно распространяющиеся редакторы онтологий. Среди платных стоит выделить Altova's SemanticWorks[12], среди бесплатных - Protege [13].
Как уже отмечалось, с развитием технологий, относящихся к Semantic Web, следует ожидать появления новых и дальнейшего развития уже существующих средств разработки.

Заключение

В настоящее время создана и внедряется в Совете Федерации Федерального Собрания Российской Федерации первая очередь информационной системы "Семантический контроль текстов редактируемых документов", описанная в данной статье. Она используется специалистами Управления информационного и документационного обеспечения аппарата Совета Федерации для проверки правильности расшифровки стенограмм и проверки редакций различных типов документов на предмет их соответствия эталонным словарям и базам данных. Онтология, используемая системой, создана на основе кадровой базы Совета Федерации, в настоящий момент содержит 6 классов, общее количество экземпляров по всем 6-ти классам составляет 1183, суммарное количество свойствзначений по этим экземплярам - 3785, общее количество свойств-объектов, связывающих экземпляры онтологии, - 755.
В качестве направления развития системы можно указать на необходимость использовать более сложные механизмы логические вывода и анализа, например, языков логического вывода (SWRL[14], RuleML[15]). Также увеличение сложности и объемов хранимых в онтологии знаний, добавление новых логических областей, очевидно, потребует совершенствования средств работы с онтологией.

Литература

[1] Web Ontology Language (OWL), http://www.w3.org/2004/OWL/
[2] Semantic Web, http://www.w3.org/2001/sw/http://www.w3.org/2001/sw/.
[3] Tim Berners-Lee, James Hendler and Ora Lassila, The Semantic Web, http://www.scientificamerican.com/article.cfm?articleID=00048144-10D2-1C70-84A9809EC588EF21&catID=2.
[4] The Extensible Markup Language (XML), http://www.w3.org/XML/
[5] Resource Description Framework (RDF), http://www.w3.org/RDF/
[6] SPARQL Query Language for RDF, http://www.w3.org/TR/rdf-sparql-query/
[7] Владимир Шрайбман, Выражение семантики данных. RDF против XML, http://www.citforum.ru/internet/xml/rdf_xml/
[8] World Wide Web Consortium (W3C), http://www.w3.org/
[9] Jena - A Semantic Web Framework for Java, http://jena.sourceforge.net/
[10] HP Labs Semantic Web Research, http://www.hpl.hp.com/semweb/index.html
[11] MySQL, http://www.mysql.com
[12] SemanticWorks, http://www.altova.com/products_semanticworks.html
[13] Protege, http://protege.stanford.edu/
[14] SWRL: A Semantic Web Rule Language Combin-ing OWL and RuleML, http://www.w3.org/Submission/SWRL/
[15] The Rule Markup Initiative, http://www.ruleml.org/
[16] Андреев А.М., Березкин Д.В., Симаков К. В. Особенности проектирования модели и онтоло-гии предметной области для поиска противоре-чий в правовых электронных библиотеках. 6-ая Всероссийская научная конференция RCDL'2004.

Using Semantic Web technology for the task of inconsistency detection in natural language texts

The primary purpose of this article is to show main technological decisions was made during developing the system of inconsistency detection in natural language texts of some domain. For this task we use the ontology as etalon knowledge base. We present the architecture of the system and describe the logic of its working.

Великие раскопки и великие вызовы

Леонид Левкович-Маслюк
Опубликовано 23 марта 2007 года

---

© 2006, Издательский дом «КОМПЬЮТЕРРА» | http://www.computerra.ru/
Журнал «Компьютерра» | http://www.computerra.ru/
Этот материал Вы всегда сможете найти по его постоянному адресу: http://www.computerra.ru/features/311656/

---

Наука об извлечении содержания из гигантских массивов данных становится все более изощренной, а задачи, за которые берутся мастера такого поиска, - все более человечными.

Прочесыванием гор информации в поисках скрытых в них закономерностей люди занимаются уже многие века. Но только с появлением компьютеров, баз данных, локальных и глобальных сетей понятие "больших массивов" обрело нынешний смысл, а их вдумчивое сканирование, когда-то занимавшее лишь шпионов и каббалистов-мистиков, позже - социологов культуры и теоретиков медиа с их страстью к контент-анализу, превратилось в индустрию. Причем индустрию высокотехнологичную даже на фоне инфотеха. Ведь найти смысловые связи в новостной заметке, правильно ответить на элементарный вопрос - о чем она, к какому тематическому классу ее причислить, - сложнейшая, как оказалось, задача для машины. С другой стороны, даже простая для машины, но неподъемная и невыносимо тоскливая для человека задача механического сканирования текста с одновременной сортировкой имен, названий, ключевых слов часто оказывается очень и очень востребованной. А если еще и выйти за пределы мира текстов, попытаться научить компьютер понимать, о чем люди говорят (хотя бы в телефонных переговорах с туристическим бюро), что они показывают друг другу на фотографиях и видеолентах, - станет ясно, что колоссальный спрос на результаты таких исследований сталкивается с колоссальными трудностями в их реализации.

Вот где-то между этими молотом и наковальней и зародился современный датамайнинг (data mining, буквально - раскопки данных, или добыча чего-то из данных), в котором научные и индустриальные компоненты трудно разделить. В 1998 году научную зрелость этой отрасли подтвердило создание Special Interest Group (SIG), Группы особых интересов, в рамках авторитетной международной организации по компьютерным исследованиям ACM (Association for Computing Machinery, Ассоциация по вычислительным машинам).

Что такое SIG? Вспомним о самой популярной из подобных групп - SIGGRAPH. Ежегодные мегаконференции, на которых делаются доклады, читаются лекции и демонстрируются высшие достижения компьютерной графики, анимации и сопутствующей всему этому математики, других наук и технологий, известны далеко за пределами сообщества специалистов. Другие SIG’и (сейчас их тридцать четыре, в том числе SIGART [искусственный интеллект], SIGMOD [базы данных], SIGPLAN [языки программирования], SIGSOFT [разработка ПО] и др.) не так знамениты среди широкой публики, но заслужили уважение специалистов, а проводимые ими конференции, издаваемые журналы являются индикаторами качества в своих областях.

Цифра

Агентство IDC прогнозирует, что объем цифровой информации в мире достигнет тысячи экзабайт к 2010 году, то есть по сравнению с 2006 годом увеличится в 6 раз (1 экзабайт = 2^60 байт, или миллиард гигабайт).

На наши вопросы о теории и практике датамайнинга ответил Григорий Пятецкий-Шапиро (Gregory Piatetsky-Shapiro), основатель и председатель SIGKDD - Группы особых интересов, посвященной "открытию знаний в данных" (Knowledge Discovery in Data).

Какие новые разделы датамайнинга (ДМ) появились в последние годы? Какие из них самые перспективные для бизнеса, для исследовательской работы?

- Одно из замечательных новых полей исследований - анализ связей (link analysis). Приложения весьма обширны, от биоинформатики до выявления преступлений, от маркетинга до исследования социальных сетей. Вокруг Web 2.0 сейчас столько шума именно потому, что он очень эффективно использует веб как инструмент социальных связей, - а это придает все большую значимость анализу этих связей.

Огромный прогресс виден и в майнинге текста (большинство программных комплексов [suites] для датамайнинга теперь включают компоненты для текст-майнинга), а также в майнинге мультимедиа. И то и другое - прекрасные области для исследований.

Распределение областей применения датамайнинга согласно опросу посетителей kdnuggets.com

Датамайнинг широко применяется в больших компаниях, особенно работающих в электронной коммерции. Amazon, Yahoo - примеры таких компаний (мой коллега Усама Файяд занимает должность руководителя по обработке данных [Chief Data Officer] в Yahoo, он первым в индустрии е-коммерции получил такой титул). Вот неполный список областей применения датамайнинга:

• реклама;
• биоинформатика;
• связь с клиентами (CRM);
• маркетинг;
• выявление мошенничества (fraud detection);
• е-коммерция;
• здравоохранение;
• инвестиции/ценные бумаги;
• управление производством;
• развлечения и спорт;
• телекоммуникации;
• изучение веба.

Если говорить об успехах индустрии датамайнинга, то самый яркий пример здесь - Google. Oба его сооснователя в Стэнфорде занимались исследованиями в этой области, и ранняя история самого Google связана с датамайнингом.

Рекомендации на сайте Amazon.com ("покупатели, купившие/искавшие/посмотревшие X, купили также Z") привели к огромному росту продаж. Высококачественные рекомендации такого типа обеспечили успех компании Netflix, занимающейся прокатом видео.

Например, если вам понравилась знаменитая абсурдистская комедия "Монти Пайтон и священный Грааль" ("Monty Python and the Holy Grail"), то вы получите от Netflix рекомендацию посмотреть "This is Spinal Tap"¹, известную пародию на документальный фильм о гастролях экстравагантной рок-группы. Netflix придает такое значение датамайнингу, что в прошлом году учредила приз в миллион долларов за улучшение алгоритма выработки рекомендаций.

Истоки KDD

Как развивалась ваша карьера? Как вы заинтересовались датамайнингом?

- С детства у меня была склонность к математике, очевидно унаследованная от папы, крупного математика Ильи Пятецкого-Шапиро. Живя в Москве, я учился в известной Второй математической школе, принимал участие в математических олимпиадах - но поскольку перенял от папы лишь малую часть математического таланта, то уже в школе понял, что чистая математика не для меня. Я открыл для себя компьютеры в 1974 году, на первом курсе в Технионе, когда эмигрировал в Израиль, и сразу заинтересовался ими. Меня особенно увлекали вопросы искусственного интеллекта. Первую интересную программу я написал в 1974 году на языке АПЛ - она была предназначена для игры в "морской бой". Сыграв с ней одну партию, я безоговорочно уступил своей же программе. Желание продолжать игру исчезло - зато усилилось желание писать программы. Потом была учеба в аспирантуре в США, тоже с концентрацией на задачах искусственного интеллекта. Темой диссертации стало приложение искусственного интеллекта к работе с базами данных.

Датамайнингом я заинтересовался, работая в Лабораториях GTE (организация, подобная знаменитой Bell Labs, только поменьше) над крупными коммерческими базами данных. Оказалось, что если найти определенные правила, некоторые запросы к этим базам можно ускорить на несколько порядков. Я заинтересовался вопросом - можно ли находить такие правила автоматически, и занялся применением идей искусственного интеллекта к большим базам данных. Побывав в 1988 году на встрече (workshop) по этой теме (в рамках конференции AAAI ’88), я понял, что этому мероприятию нужна более четкая фокусировка. По молодости лет я не представлял себе, каких усилий стоит организовать такую встречу, и поэтому в 1989 взялся за организацию воркшопа сам. Термин "датамайнинг" я считал недостаточно завлекательным (sexy) и вместо него предложил назвать тему "открытие знаний в базах данных" (Knowledge Discovery in Databases, KDD). Это название подчеркивало, что конечная цель работы - знания, и намекало на дух первооткрывательства, сопутствующий поиску знаний. Тогда же я начал новый проект в GTE Labs, и это был первый в мире проект по KDD.

Воркшоп прошел в 1989 году с большим успехом, и с тех пор я продолжаю работать в этой области. В 1993 году начал рассылку "Knowledge Discovery Nuggets", чтобы помочь в установлении связей между исследователями, занятыми этой проблематикой (первыми ее получили пятьдесят участников KDD-93). В 1994 году, с началом массового распространения веба, я создал один из первых сайтов по датамайнингу, из которого вырос мой нынешний сайт KDnuggets.com. Я очень рад, что вовремя сообразил, что в одиночку не потяну организацию воркшопов, и подключил к этому делу Усаму Файяда (Usama Fayyad), ставшего председателем оргкомитета KDD-94. С ним и еще несколькими коллегами мы превратили KDD в полномасштабную конференцию, а при поддержке Вон Кима (Won Kim) создали в 1998 году SIGKDD - исследовательское общество по открытию знаний и датамайнингу. В 2007 году в Сан-Хосе (Калифорния) пройдет уже 13-я конференция KDD. Воркшоп KDD в 1989 году был единственным в мире, а сейчас каждый год собирается дюжина конференций и встреч по этой теме.

Кто заказывает вашей фирме KDnuggets датамайнинговые проекты? Насколько они масштабны (по количеству участников, ресурсам, времени выполнения)? Требуют ли разработки нового ПО специально для каждого проекта?

- Многие думают, что Kdnuggets - большая компания с веб-программистами, редакторами, менеджерами по развитию бизнеса, отделом кадров и т. п. На самом деле она состоит из одного человека - меня самого, а все ее дела я веду при помощи множества скриптов, автоматически выполняющих большинство необходимых действий.

Время от времени я получаю интересные заказы на консалтинговые проекты, которые тоже обычно выполняю самостоятельно. Главное, что требуется от консультанта по датамайнингу, - интуиция, которая подсказывает, как найти интересные объекты в массиве данных и как при помощи существующих методов и технологий обнаруживать именно то, что принесет пользу заказчику.

Оценка

Удачные статистические модели позволили выявить потенциальные "налоговые убежища" обеспеченных американцев объемом в сотни миллионов долларов.

К сожалению, многие успешные датамайнинговые проекты, в том числе и часть моих, связаны с деликатными вопросами бизнеса - такими, как выявление мошенничества и обмана, - и поэтому о них нельзя подробно рассказать в прессе. Однако недавно состоялся воркшоп, специально посвященный "историям успеха" технологий датамайнинга. Там были представлены статьи, против публикации которых заказчики проектов не возражали. Лучшей была признана работа Бхарата Рао (Bharat Rao) из Siemens, в которой описывалась очень интересная система. Она позволяет автоматически повысить качество лечения и ухода за пациентами кардиологических отделений благодаря тому, что извлекает важную медицинскую информацию из невнятно написанных и неточных записей в историях болезни².

Кандидаты в великие

На конференции KDD-2006 несколько известных исследователей в области извлечения знаний из данных предложили задачи, которые в будущем могут претендовать на роль "великих вызовов", бросаемых повседневной практикой.

• Провести аннотацию 1000 Часов цифрового видео в течение одного часа. Согласно автору предложения Шабану Джерабе (Chabane Djeraba), в настоящее время это требует тысяч человеко-часов при ручной работе. Под аннотацией подразумевается краткое описание происходящего. Например, сегодня невозможно без выполненной человеком аннотации выделить в записи баскетбольного матча эпизоды атаки и обороны каждой команды. Ручная аннотация одной фотографии для Национального географического общества требует двадцать минут.

• Википедия-тест

  (Lise Getoor, Лиз Гетур). По сборнику статей, созданному либо в режиме партисипативной журналистики (то есть по принципу наполнения Википедии), либо с использованием автоматических инструментов поиска линков по требуемой тематике, определить, какой из этих двух методов использовался: то есть составлен ли сборник машиной или людьми (и в каком случае качество оказалось выше)? Автор предложения указывает на связь этого вызова с другим, брошенным специалистам по сжатию информации: сжать 100 мегабайт Википедии до 18 мегабайт, не потеряв ни единого бита (за это уже назначен приз Хаттера в 50 тысяч долларов).

• Оценить миллиард прогнозирующих моделей

  (Robert Grossman, Роберт Гроссман). В ходе многолетней практики датамайнинга было построено великое множество статистических моделей для различных типов и конкретных ансамблей данных. Во многих случаях для одних и тех же массивов данных строится несколько моделей, чтобы ухватить их характеристики разных видов. Пример: имеется информация от 833 датчиков движения транспорта в Чикаго. Задача состоит в автоматическом определении ситуаций, когда в транспортном потоке возникают аномалии, происходит что-то необычное (но не простая пробка!). Данные сегментировались по дням, часам и участкам дороги, что приводило к появлению 7х24х250 = 42000 автоматически генерируемых статистических моделей - хотелось бы значительно сократить их число! Подобная ситуация возникает и в онлайновом маркетинге (отдельная модель поведения для каждого клиента), в перспективных подходах к оценке эффективности лекарств на основе индивидуального генотипа и т. д. Так что миллиард набирается легко - вопрос в том, как радикально уменьшить это число.

• Разработка систем анализа текстов (text mining), способных сдать обыЧные экзамены на понимание текста SAT, GRE, GMAT

  (Ronen Feldman, Ронен Фелдман). Эту задачу с оптимизмом комментирует в своих ответах Григорий Пятецкий-Шапиро. Она покруче даже стандартного теста Тьюринга (определить, машина или человек отвечает на ваши вопросы), по поводу которого тоже было много оптимизма, в том числе и у его гениального автора. Однако не будем забывать, что этот вызов - лишь планка, которую автор предложения поднимает так высоко в надежде на достижение более приземленных практических целей: довести точность реализации реляционных запросов с нынешних 70–80% до 98–100%, причем в самой общей ситуации.

Кроме этого, был предложен еще один весьма важный вызов - функциональная аннотация белков. Однако формулировка здесь так сложна, а задач так много, что мы ограничимся лишь констатацией - это направление, датамайнинг в геномике и протеомике, тоже служит источником великих вызовов (напомним, кстати, что недавно назначен приз X PRIZE за снижение стоимости сканирования генома до 10 тысяч долларов при повышении производительности до ста геномов за десять дней).

Ну а для полноты картины упомянем и конкурс, который состоится на конференции KDD-2007. Участникам предоставляется тренировочный массив данных Netflix, в котором собрано больше 100 млн. рейтингов (по пятибалльной шкале) по 18 тысячам фильмов от 480 тысяч случайно выбранных анонимных пользователей Netflix (то есть людей, бравших у Netflix DVD напрокат), с 1998 по 2005 год. Вот одна из двух задач, по которым будет проводиться состязание:

Дан список из 100 тысяч пар вида "номер_пользователя, номер_фильма", относящийся к 2006 году (то есть не входящий в тренировочный массив). Для каждой такой пары нужно указать вероятность, что данный пользователь хоть как-то рейтинговал данный фильмв 2006 году.

Денежные призы не предусмотрены - в отличие от основного конкурса Netflix. Там, чтобы заработать миллион долларов, требуется превзойти точность действующей сейчас на фирме системы рекомендаций Cinematch™ всего лишь на 10% (на исторических данных); ежегодно разыгрывается приз в скромные 50 тысяч долларов просто за самое большое уточнение прогноза. Прогноз состоит в том, чтобы угадать по предшествующим оценкам фильмов клиентами, какие из фильмов они высоко оценят в будущем. По состоянию на 14 марта 2007 года лучший результат в конкурсе Netflix уже 6,75%, то есть две трети пути к миллиону пройдено.

Среди кандидатов в "Великие вызовы KDD" (см. врезку) есть задачи, близкие к тесту Тьюринга. Есть ли надежда, что техники ДМ помогут существенно продвинуться в решении такого рода классических проблем искусственного интеллекта? С другой стороны - можно ли в задачах протеомики надеяться на то, что только за счет ДМ появятся ответы на важные вопросы биологии?

- Из кандидатов в "Великие вызовы" ближе всего к Тьюринг-тесту предложение Ронена Фельдмана (Ronen Feldman) - выдвинуть в качестве вызова создание текст-майнинговых систем, которые смогут сдавать стандартные экзамены на понимание текстов, - SAT, GRE, GMAT, причем обучаться системы будут, исследуя веб.

Лично я думаю, что это вполне решаемая в течение пяти-десяти лет задача, а когда она будет решена, это полностью изменит существующую практику вступительных экзаменов.

Хорошая модель данных так же важна для дм, как двигатель для спорткара

Недавно Ларри Пейдж, сооснователь Google, объявил, что Google серьезно работает над ИИ, а использование сосредоточенной там вычислительной мощности и базы знаний может серьезно ускорить движение в сторону ИИ.

Для продвижения в биологии (протеомике, геномике) критически важно понимание предметной области. Однако и без инновационных алгоритмов датамайнинга прогресс там невозможен.

Как устроены системы датамайнинга? Много ли общего у этих технологий с технологиями поисковых машин типа Гугла?

- Системы датамайнинга устроены не так, как системы поиска по вебу (Google, Yahoo), поскольку датамайнинг работает обычно с цифровыми базами данных и задает другие вопросы, нежели Google. Обычно эти системы реализуют различные методы очистки и препроцессинга, а затем применяется основное ядро алгоритмов. Самые важные задачи, решаемые этими алгоритмами, - классификация, кластеризация, визуализация. Процесс датамайнинга требует множества итераций, как показано на рисунке. Важнейшая алгоритмическая часть - использование алгоритмов машинного обучения, то есть построение модели; для датамайнинговой системы это так же важно, как двигатель для спортивного автомобиля. Однако основные усилия обычно уходят на подготовку данных. Заинтересованных читателей приглашаю познакомиться с моими (свободно доступными) лекциями.

---

1. "Пункция спинномозговой жидкости". [вернуться]

2. Гм-гм. Недавно мы упоминали о том, как широко применяется распознавание речи при надиктовывании врачами историй болезни. Может быть, система Рао исправляет ошибки не только врачей, но и той системы, которая записывала их диктовку? - Л.Л.-М. [вернуться]

- Из журнала "Компьютерра"

---

Телефон редакции: (495) 232-2263
E-mail редакции: site@computerra.ru
По вопросам размещения рекламы обращаться к Елене Агапитовой по телефону +7 (495) 232-2263 или электронной почте reclama@computerra.ru