Как лингвистика стала близкой подругой математики и информатики?

[Алан Тьюринг 737]

Системные преобразования

Лингвистика — это наука, которая изучает устную и письменную формы человеческого языка, его структуру, элементы, его связь с другими науками. Современная лингвистика имеет два подхода к изучению: синхронический и диахронический. Изначально преобладал диахронический подход, описывающий историю развития языка, этимологию ее форм и слов.

Изменения в лингвистической теории начались с появлением работ швейцарского лингвиста Фердинанда де Соссюра. Он первым обратил внимание лингвистов на необходимость изучения языковой системы в целом (1916). Было важно провести систематизацию элементов языка, выстроить иерархию и установить систему связей между элементами. Упор делался на современное состояние языка. Именно так появился синхронический подход.

ЛЛингвистика и кибернетики: первое знакомство

Столь значительное изменение привлекло к лингвистике внимание математиков и инженеров. Этому способствовали экономические и политические события до и после Второй мировой войны. Первые попытки междисциплинарных исследований были проведены американскими инженером и математиком Клодом Шенноном (1948) и Уорреном Уивером. Заинтересованные идеей научить компьютер говорить и общаться, ученые пытались применить математические аспекты к трансформации естественного языка в формальный — тот, который будет понимать компьютер. В их работах заложена база для стохастических методов, которые играют ведущую роль в современной лингвистике.

Следующей ступенью в знакомстве и коллаборациях наук стали идеи американского лингвиста Ноама Хомского — он разработал первое представление систематической формализации описания предложений естественного языка (1957). Интересно, что сам Хомский всегда подчеркивал, что его мотивация к введению формальной грамматики никогда не была связана с компьютеризацией. По разным причинам, в первую очередь из-за нехватки вычислительной мощности, необходимой для вероятностных и других вычислительно интенсивных подходов, его работа оставалась доминирующей в области компьютерной лингвистики более тридцати лет.

Другие теории формального языка и системы формальных грамматик появились в 1960-х, 1970-х и начале 1980-х годов (Gazdar, Kaplan and Bresnan), и были связаны с контекстно-свободным грамматическим формализмом, предложенным Хомским. Хотя новый подход существенно отличался, эти теории мало способствовали достижению реальных целей компьютерной лингвистики, например, создание широко распространенных синтаксических анализаторов предложений на естественном языке. Сегодня работы Ноама Хомского и его последователей находят более широкое применение в области формальных языков, таких как синтаксис программирования или языки разметки.

Параллельно с разработкой формального языка в 1980-х гг. возрождаются стохастические методы, заложенные в работах Шеннона и Уивера. Благодаря значительно возросшей мощности компьютеров использование этих методов привело к значительным успехам в автоматической обработке текста, распознавании речи, машинном переводе. Сегодня формальные средства описания естественного языка объединяются с классическими информационно-теоретическими методами, порождая гибридные технологии.

ППродуктивная дружба — компьютерная лингвистика

Компьютерная лингвистика — относительно новая междисциплинарная наука, которая занимается компьютерной обработкой человеческого языка или NLP (Natural Language Processing — не путать с нейролингвистическим программированием).

Ее теоретическая основа представляет ядерную смесь из лингвистики, математики (теория вероятности, статистики, теории информации, алгебры, теории формальных языков и т. д.), логики, психологии, когнитивных и компьютерных наук. Результатом служат прикладные исследования в разработке искусственного интеллекта и новые формы представления знаний — текстовые корпуса, семантические векторные модели, предобученные нейросети для синтеза текста, новые поколения тезаурусов и идеографических словарей.

Изучая формальные теории описания языка, компьютерную морфологию и семантику, компьютерный синтаксис, а также применяя различные алгоритмы, исследователи компьютерной лингвистики пытаются найти решения практических задач в области обработки естественного языка (NLP): генерация текстов и языковое моделирование, создание параллельных корпусов и систем машинного перевода, разработка диалоговых систем и чат-ботов, распознавание и синтез речи.

Примечательно, что в отличие от многих других областей гуманитарных наук, исследования в области компьютерной лингвистики получают оценки. Что это значит? Кроме исходных данных, с которыми будет происходить основная работа, также используются заранее подготовленные проверочные данные. С ними сравниваются «преобразованные» исходные данные. На результатах их сравнения и формируется оценка. Зачастую она определяется количеством ошибок, которые делает система; когда это невозможно, используется другая мера (например, вероятность тестовых данных). Дополнением к частоте ошибок является точность.

Объективная автоматическая система оценивания вошла в вычислительную компьютерную лингвистику с возрождением статистических методов и считается одним из важнейших изменений в этой области с момента ее создания — считается, что именно такая оценка стала движущей силой в быстрых темпах достижений в недавнем прошлом.

ББудущее

Несмотря на то, что компьютерная лингвистика считается относительно молодой наукой, современному человеку уже сложно представить свою жизнь без существования голосовых помощников, эффективных веб-поисковиков или автоматических переводчиков. В то же время многие проблемы обработки естественного языка, включая и машинный перевод, до сих пор не имеют хорошего универсального решения. Поэтому необходимо продолжать исследования в этой области и разрабатывать новые технологии.

Евгения Заковоротна

[Феникс 2382]

О! Да. Вот по многим из вышеперечисленных причин я и не люблю тексты длинною в жизнь. Всякие лингвисты и прочие филолухи должны уметь нести информацию в массы эффективно и максимально информативно. Если это не худ.лит. 

Да, не дочитала. Каюсь.

А что касается специализации, да, тут лингвистика стала подругой всем. Чего стоит только логин и пароль)))) 

[Yar 7863]

Еще математическими методами пользуются, когда исследуют, как языки народов, живущих на соседних территориях, взаимопроникают друг в друга. Читал, что можно на основании этих данных оценить, как долго народы жили бок о бок. 

Голосовой поиск и помощники здорово освобождают руки. Моя мама недавно испугалась, когда внезапно яндексовская "Алиса" сказала ей "Тебе скучно. Давай поиграем" 

[Феникс 2382]

59 минут назад, Yar сказал:

Голосовой поиск и помощники здорово освобождают руки. Моя мама недавно испугалась, когда внезапно яндексовская "Алиса" сказала ей "Тебе скучно. Давай поиграем" 

Я бы тоже испугалась. Не люблю, когда разные устройства начинают со мной разговаривать без предупреждения. Я тогда и пинка могу дать)))

Без предупреждения.

[Феникс 2382]

1 час назад, Yar сказал:

. Читал, что можно на основании этих данных оценить, как долго народы жили бок о бок. 

Украинский, чешский, пОляцкий дают тебе знать как долго жили бок о бок?

[Dante 10403]

30 минут назад, Феникс сказал:

Украинский, чешский, пОляцкий дают тебе знать как долго жили бок о бок?

Да, анализ процессов изменения слов может дать множество интересного, так как эти изменения не совсем случайные.

[Феникс 2382]

Только что, Dante сказал:

Да, анализ процессов изменения слов может дать множество интересного, так как эти изменения не совсем случайные.

А расскажи мне что значит "Таборе! Позор"))

Только что, Феникс сказал:

А нука расскажи мне что значит "Таборе! Позор"))

Это чешский. И ударение я не расставляла специально.

А вот "нука" я применила зря. За то прошу прощення.

Изменено 22 февраля, 2019 пользователем Феникс

[Stylist 12487]

14 минут назад, Феникс сказал:

А нука расскажи мне что значит "Таборе! Позор"))

Русско-чешский словарь:

prdel [прделка] — женская пятая точка
vedro [ведро] — жара
úžasný [ужасны] — прекрасный, обворожительный
určitě [урчите] — обязательно, точно
kalhotky [калготки] — трусики
úroda [урода] — урожай
pádlo [падло] — весло
mýdlo [мыдло] — мыло
šlapadlo [шлападло] — катамаран
letadlo [летадло] — самолет
vozidlo [возидло] — автомобиль
okurky [окурки] — огурцы
voňavka [вонявка] — духи
cerstvé potraviny [черстве потравини] — свежие продукты
nevěstka [невестка] — проститутка
děvka [девка] — путана
matný [матный] — матовый
mátový [матовый] — мятный
skot [скот] — шотландец
pitomec [питемец] — глупец
pozor [позор] — внимание
strávit [стравит] — провести
škoda [шкода] — убыток bydlo [быдло] — жизнь житье
bydliště [быдлиште] — местожительство
barák [барак] — дом
pohanka [поганка] — гречка
policie varuje [полицие варуе] — полиция предупреждает
rychlý [рыхлы] — быстрый
počítač [почитач] — компьютер
žádný [жадны] — никакой
stůl [стул] — стол
sleva [слева] — скидка
sranda [сранда] — хохма, шутка
zakázat [заказат] — запретить
vůně [вуне] — аромат
zápach [запах] — вонь
čichat [чихат] — нюхать
zapomél [запомнел] — забыл
zelenina [зеленина] — овощи
ovoce [овоце] — фрукты
chápat [хапат] — понимать
bradavka [брадавка] — сосок (на груди)
mzda [мзда] — плата
sklep [склеп] — подвал
mraz [мраз] — мороз
záchod [заход] — туалет

[Dante 10403]

20 минут назад, Феникс сказал:

А расскажи мне что значит "Таборе! Позор"))

Я не лингвист, я просто люблю лингвистику... ну и лингвистов  Куда ж без них  

[Феникс 2382]

Люда, да) Оригинально на фоне русского, согласись?))))

А если использовать ещё и дактиль будет совсем весело!))))))

Изменено 22 февраля, 2019 пользователем Феникс

[Yar 7863]

Неоднократно слышал утверждение (от математиков), что математика — гуманитарная наука. Вот что пишет В.А.Успенский:

Никто не знает, сохранят ли грядущие века и тысячелетия сегодняшнее деление наук на естественные и гуманитарные. Но даже и сегодня безоговорочное отнесение математики к естественным наукам вызывает серьёзные возражения. Естественно-научная, прежде всего физическая, составляющая математики очевидна, и нередко приходится слышать, что математика — это часть физики, поскольку она, математика, описывает свойства внешнего, физического мира. Но с тем же успехом её можно считать частью психологии, поскольку изучаемые в ней абстракции суть явления нашего мышления, а значит, должны проходить по ведомству психологии. Не менее очевидна и логическая, приближающаяся к философской, составляющая математики. Скажем, знаменитую теорему Гёделя о неполноте, гласящую, что, какие способы доказывания ни установи, всегда найдётся истинное, но не доказуемое утверждение — причём даже среди утверждений о таких, казалось бы, простых объектах, как натуральные числа, — эту теорему с полным основанием можно считать теоремой теории познания.

Разрушить барьеры между представителями этих наук, между лириками и физиками, между гуманитариями и математиками — это представляется и привлекательным, и осуществимым. Особенно благородная цель — уничтожить этот барьер внутри отдельно взятой личности, т. е. превратить гуманитария отчасти в математика, а математика — отчасти в гуманитария. Обсуждая эту тему, можем вспомнить А.Н. Колмогорова, первая работа которого была посвящена отнюдь не математике, а истории. А также В.Е.Ададурова - математика, который является автором первой русской грамматики на русском же языке.

[Stylist 12487]

14 минут назад, Феникс сказал:

Оригинально на фоне русского, согласись?))))

Кто тут говорит, что все диалекты друг от дружки произошли? Они с ног на голову перевернулось при переходе.
Вот вам снова чешский: Позор полиция воруе — Внимание, полиция предупреждает.
Можете еще в одном языке поупражняться здесь --- Это такой украинский, как я - балерина.

[Феникс 2382]

@Stylist,а ведь ДА, 

"Вёдро" и у нас про отличную погоду.мзда и у нас плата и склеп - подвал)))))

Только что, Stylist сказал:

Кто тут говорит, что все диалекты друг от дружки произошли? Они с ног на голову перевернулось при переходе.
Вот вам снова чешский: Позор полиция воруе — Внимание, полиция предупреждает.
Можете еще в одном языке поупражняться здесь --- Это такой украинский, как я - балерина.

А вот в том и фишка, что ударение надо ставить. Тем паче в транскрипции. 

[Dante 10403]

Разделение наук на гуманитарные и какие-то ещё -- это признак бабуинства в голове.

[Yar 7863]

бабуинство в голове - очень изысканное ругательство, я запомню . Но нравится нам это или нет, деление такое весьма популярно даже в среде ученых. Бывает обидно за социологию и психологию, их часто вообще к науке не относят. Хотя науки эти используют методы, подобные физике и математике

Изменено 22 февраля, 2019 пользователем Yar

[Dante 10403]

1 минуту назад, Yar сказал:

бабуинство в голове - очень изысканное ругательство, я запомню . Но нравится нам это или нет, деление такое весьма популярно даже в среде ученых. Бывает обидно за социологию и психологию, их часто вообще к науке не относят. Хотя науки эти используют методы, подобные физике и математике

Каких учёных? Наших?  Бог с вами, такого бабуинства как в нашей науке...  Тут отборные бабуины  

[Yar 7863]

6 минут назад, Dante сказал:

Тут отборные бабуины  

не могу с вами согласиться. Встречаются вполне себе хомосапиенсы.К примеру: Юрий Оганесян, Михаил Гельфанд, Григорий Перельман, Андрей Гейм (наш,хоть и уехал)

[Dante 10403]

1 минуту назад, Yar сказал:

не могу с вами согласиться. Встречаются вполне себе хомосапиенсы.К примеру: Юрий Оганесян, Михаил Гельфанд, Григорий Перельман, Андрей Гейм (наш,хоть и уехал)

Это динозавры  

[ElijahCrow 2737]

Сначала прочел: "Как пингвистика стала близкой подругой математики и информатики?" - потом думаю: "что-то не то, причем тут пингвины?"

[Dante 10403]

18 часов назад, ElijahCrow сказал:

Сначала прочел: "Как пингвистика стала близкой подругой математики и информатики?" - потом думаю: "что-то не то, причем тут пингвины?"

Илья, вы там всем уже наливайте