Автоматическое извлечение словарных помет из Русского Викисловаря
Ключевые слова:
вычислительная лингвистика, компьютерная лексикография, русский языкАннотация
Разработана методология извлечения словарных помет из интернет-словарей. В соответствие с этой методологией экспертами построено отображение (соответствие один к одному) системы словарных помет Русского Викисловаря (385 помет) и системы словарных помет Английского Викисловаря (1001 помета). Таким образом, построена интегральная система словарных помет (1096 помет), включающая пометы обоих словарей. Разработан синтаксический анализатор (парсер), который распознаёт и извлекает известные и новые словарные пометы, сокращения и пояснения, указанные в начале текста значений слов в словарных статьях Викисловаря. Следует отметить наличие в парсере большого количества словарных помет известных заранее (385 словарных помет для Русского Викисловаря). С помощью парсера на основе данных Русского Викисловаря была построена база данных машиночитаемого Викисловаря, включающая информацию о словарных пометах. В работе приводятся численные параметры словарных помет в Русском Викисловаре, а именно: с помощью разработанной программы было подсчитано, что в базе данных машиночитаемого Викисловаря к 133 тыс. значений слов приписаны пометы и пояснения; для полутора тысяч значений слов был указан регион употребления слова, подсчитано число словарных помет для разных предметных областей. Вкладом данной работы в компьютерную лексикографию является оценка численных параметров словарных помет в больших словарях (пятьсот тысяч словарных статей).Литература
1. Скляревская Г.Н. Еще раз о проблемах лексикографической стилистики // Вопросы языкознания. 1988. № 3. С. 84-97.
2. Словарь русского языка. Том I. А-Й. // М., 1981. С. 9.
3. Сорокин Ю.С. О нормативно-стилистическом словаре современного русского языка // Вопросы языкознания. 1967. № 5. С. 22-32.
4. Токарчук И.Н. Стилистические параметры в лексикографическом описании служебного слова (на примере частиц) // Вестник ТГПУ. 2012. Т. 1. №. 116. С. 187-191. URL: http://vestnik.tspu.edu.ru/files/PDF/articles/tokarchuk_i._n._187_191_1_116_2012.pdf (дата обращения 2.04.14).
5. Пазельская А.Г., Соловьев А.Н. Метод определения эмоций в текстах на русском языке // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог» (Бекасово, 25 – 29 мая 2011 г.). М.: Изд-во РГГУ, 2011. Вып. 10 (17). С. 510-522. URL: http://www.dialog-21.ru/digests/dialog2011/materials/en/pdf/50.pdf (дата обращения 2.04.14).
6. Gonzalez-Agirre A., Castillo M., Rigau G. A graph-based method to improve WordNet Domains // In Proceedings of 13th International Conference on Intelligent Text Processing and Computational Linguistics (CICLING'12). New Delhi, India. 2012. URL: http://adimen.si.ehu.es/~rigau/publications/cicling12-gcr.pdf (дата обращения 2.04.14).
7. Meyer Ch.M., Gurevych I. Wiktionary: A new rival for expert-built lexicons? // там в шаблонеExploring the possibilities of collaborative lexicography. Chapter 13, in Sylviane G., Paquot M. (eds.), Electronic Lexicography, Oxford University Press, Oxford, 2012. pp. 259 – 291.
8. Zesch T., Müller Ch., Gurevych I. Extracting lexical semantic knowledge from Wikipedia and Wiktionary // In Proceedings of the Conference on Language Resources and Evaluation (LREC). 2008. vol. 15.
9. Крижановский А. А. Преобразование структуры словарной статьи Викисловаря в таблицы и отношения реляционной базы данных. Препринт. 2010. URL: http://scipeople.com/publication/100231/ (дата обращения 2.04.14).
10. Смирнов А. В., Круглов В. М., Крижановский А. А., Луговая Н. Б., Карпов А. А., Кипяткова И. С. Количественный анализ лексики русского WordNet и викисловарей // Труды СПИИРАН. 2012. Вып. 23. С. 231–253. URL: http://scipeople.com/publication/113406/ (дата обращения 2.04.14).
11. Henrich V., Hinrichs E., Vodolazova T. Semi-Automatic extension of GermaNet with sense definitions from Wiktionary // In Proceedings of 5th Language & Technology Conference (LTC 2011). Poznan, Poland, 2011. pp. 126-130, URL: http:// www.sfs.uni-tuebingen.de/lsd/documents/publications/Henrich-et-al-2011_GermaNet-Wiktionary-Mapping.pdf (дата обращения 23.02.14).
12. McCrae J., Montiel-Ponsoda E., Cimiano Ph. Integrating WordNet and Wiktionary with lemon // In Conference Proceedings “Linked Data in Linguistics”, 2012. pp. 25 - 34.
13. Meyer Ch.M., Gurevych I. What psycholinguists know about chemistry: Aligning Wiktionary and wordnet for increased domain coverage // In Proceedings of the 5th international joint conference on natural language processing (IJCNLP), Chiang Mai, Thailand, 2011. pp. 883–892.
14. Navigli R, Ponzetto S.P. BabelNet: The automatic construction, evaluation and application of a wide-coverage multilingual semantic network // Artificial Intelligence, 2012. vol. 193, pp 217-250.
15. Adomavicius G., Mobasher B., Ricci F., Tuzhilin A. Context-aware recommender systems // AI Magazine. 2011. vol. 32(3), pp. 67-80. URL: http://www.ise.bgu.ac.il/faculty/liorr/recsyshb/chcontext.pdf (дата обращения 2.04.14).
2. Словарь русского языка. Том I. А-Й. // М., 1981. С. 9.
3. Сорокин Ю.С. О нормативно-стилистическом словаре современного русского языка // Вопросы языкознания. 1967. № 5. С. 22-32.
4. Токарчук И.Н. Стилистические параметры в лексикографическом описании служебного слова (на примере частиц) // Вестник ТГПУ. 2012. Т. 1. №. 116. С. 187-191. URL: http://vestnik.tspu.edu.ru/files/PDF/articles/tokarchuk_i._n._187_191_1_116_2012.pdf (дата обращения 2.04.14).
5. Пазельская А.Г., Соловьев А.Н. Метод определения эмоций в текстах на русском языке // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог» (Бекасово, 25 – 29 мая 2011 г.). М.: Изд-во РГГУ, 2011. Вып. 10 (17). С. 510-522. URL: http://www.dialog-21.ru/digests/dialog2011/materials/en/pdf/50.pdf (дата обращения 2.04.14).
6. Gonzalez-Agirre A., Castillo M., Rigau G. A graph-based method to improve WordNet Domains // In Proceedings of 13th International Conference on Intelligent Text Processing and Computational Linguistics (CICLING'12). New Delhi, India. 2012. URL: http://adimen.si.ehu.es/~rigau/publications/cicling12-gcr.pdf (дата обращения 2.04.14).
7. Meyer Ch.M., Gurevych I. Wiktionary: A new rival for expert-built lexicons? // там в шаблонеExploring the possibilities of collaborative lexicography. Chapter 13, in Sylviane G., Paquot M. (eds.), Electronic Lexicography, Oxford University Press, Oxford, 2012. pp. 259 – 291.
8. Zesch T., Müller Ch., Gurevych I. Extracting lexical semantic knowledge from Wikipedia and Wiktionary // In Proceedings of the Conference on Language Resources and Evaluation (LREC). 2008. vol. 15.
9. Крижановский А. А. Преобразование структуры словарной статьи Викисловаря в таблицы и отношения реляционной базы данных. Препринт. 2010. URL: http://scipeople.com/publication/100231/ (дата обращения 2.04.14).
10. Смирнов А. В., Круглов В. М., Крижановский А. А., Луговая Н. Б., Карпов А. А., Кипяткова И. С. Количественный анализ лексики русского WordNet и викисловарей // Труды СПИИРАН. 2012. Вып. 23. С. 231–253. URL: http://scipeople.com/publication/113406/ (дата обращения 2.04.14).
11. Henrich V., Hinrichs E., Vodolazova T. Semi-Automatic extension of GermaNet with sense definitions from Wiktionary // In Proceedings of 5th Language & Technology Conference (LTC 2011). Poznan, Poland, 2011. pp. 126-130, URL: http:// www.sfs.uni-tuebingen.de/lsd/documents/publications/Henrich-et-al-2011_GermaNet-Wiktionary-Mapping.pdf (дата обращения 23.02.14).
12. McCrae J., Montiel-Ponsoda E., Cimiano Ph. Integrating WordNet and Wiktionary with lemon // In Conference Proceedings “Linked Data in Linguistics”, 2012. pp. 25 - 34.
13. Meyer Ch.M., Gurevych I. What psycholinguists know about chemistry: Aligning Wiktionary and wordnet for increased domain coverage // In Proceedings of the 5th international joint conference on natural language processing (IJCNLP), Chiang Mai, Thailand, 2011. pp. 883–892.
14. Navigli R, Ponzetto S.P. BabelNet: The automatic construction, evaluation and application of a wide-coverage multilingual semantic network // Artificial Intelligence, 2012. vol. 193, pp 217-250.
15. Adomavicius G., Mobasher B., Ricci F., Tuzhilin A. Context-aware recommender systems // AI Magazine. 2011. vol. 32(3), pp. 67-80. URL: http://www.ise.bgu.ac.il/faculty/liorr/recsyshb/chcontext.pdf (дата обращения 2.04.14).
Automatic Extraction of Context Labels from the Russian Wiktionary
Abstract
The methodology of extracting context labels from internet dictionaries was developed. In accordance with this methodology experts constructed a mapping table that establishes a correspondence between Russian Wiktionary context labels (385 labels) and English Wiktionary context labels (1001 labels). As a result the composite system of context labels (1096 labels), which includes both dictionary labels, was constructed. The parser extracting context labels from the Russian Wiktionary was developed. The parser can recognize and extract new context labels, abbreviations and comments placed before the definition in Wiktionary articles. One outstanding feature of this parser is a large number of context labels which are known in advance (385 context labels for Russian Wiktionary). The parser can recognize and extract new context labels, abbreviations and comments placed before the definition in Wiktionary articles. The database of machine-readable Russian Wiktionary including context labels was generated by the parser. An evaluation of numerical parameters of context labels in the Russian Wiktionary was performed. With the help of the developed computer program it was found in the Russian Wiktionary that (1) there are 133 000 definitions with context labels and comments, (2) one and a half thousand definitions were supplied with regional labels, (3) it was calculated a number of definitions with labels for each domain knowledge. This paper is an original contribution to computational lexicography, setting out for the first time an analysis of numerical parameters of context labels in the large dictionary (500 000 entries).
Опубликован
2014-06-02
Как цитировать
Крижановский, А. А., Смирнов, А. В., Круглов, В. М., Крижановская, Н. Б., & Кипяткова, И. С. (2014). Автоматическое извлечение словарных помет из Русского Викисловаря. Труды СПИИРАН, 2(33), 164-185. https://doi.org/10.15622/sp.33.9
Раздел
Статьи
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями:
Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале.
Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале.
Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).
