• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Программное обеспечение

1. TopicMiner

Первый профессиональный пакет тематического моделирования и визуального анализа для русского языка

Язык разработки: C++, Delphi XE3
Время разработки: 09.2012 - наст.вр. 
Разработчики: С. Кольцов, В. Филиппов.

Возможности информационной системы:

1. Препроцессинг документов, который включает сборку и лематизацию больших русскоязычных данных (объединение всей коллекции в единый формат tmlda), создание списка стоп-слов и удаление их из текстов.

2. Работа с файлом формата tmlda включает в себя выгрузку оригинальных документов и лематизированных документов в формате  csv для сторонних пакетов, выгрузка документов на основе списка слов, удаление пустых документов, получившихся в ходе препроцессинга, расчет и выгрузка term – document matrix для статистического пакета ‘Orange’.

3. Тематическое моделирование по модели сэмплирования Гиббса, включает в себя проведение тематического моделирования по моделям: 1. LDA.  2. SLDA. 3.GLDA.

4. Тематическое моделирование по моделям: 1. PLSA, 2, PLSA + линейка регуляризаторов.

5. Визуализация результатов тематического моделирования, включает: 1. Визуализация распределений документов по темам. 2. Визуализация распределений слов по темам. 3. Визуализация распределений отсортированных документов в темах. 4. Визуализация отсортированных распределений слов по темам. 5. Выгрузка результатов тематического моделирования в сторонние пакеты в формате csv.        

6. Анализ результатов моделирования: 1. Сравнение тематических моделей на основе  ‘Kullback - Leibler distance’ и Jaccard index.

7.Визуализация результатов тематического моделирования в картографической системе Quantum GIS.

Информационная система реализована в виде инсталлятора для операционных систем: windows 8 и выше (64 bits).

Инструкция по работе с программой TopicMiner:

 TopicMiner_Manual (PDF, 2.96 Мб)

 Скачать:

 TopicMiner_LINIS (RAR, 19.47 Мб)

 

 

2. BlogMiner (БлогМайнер)

Интерфейсная информационная система для работы с блог-платформой "Живой журнал".

Язык разработки: Delphi 7

Время разработки: 06.2011 - 01.2013. 

Разработчики: С. Кольцов, Р. Бахмудов.

Возможности:

  • Загрузка полнотекстовых данных из социальной сети ‘Живой журнал’ (ЖЖ) (тексты постов, соотнесенные с авторами и датами; тексты комментариев, соотнесенные с постами, авторами комментариев и датами).
  • Парсинг данных.
  • Хранение данных ‘ЖЖ’в виде набора реляционных таблиц на MS SQL сервере.
  • Бэкап и восстановление баз данных.
  • Навигация по сырым и пропарсенным данным.
  • Система поиска по набору ключевых слов на основе технологии Full Text Search Engine (MS SQL).
  • Выгрузка данных для различных сторонних пакетов (например, gCluto, Stanford Topic Modeling Toolbox, NodeXL,TopicMiner).
  • Возможности построения текстовых и сетевых выгрузок с помощью SQL-запросов.

Ожидается: парсинг мета-данных авторов.

3. VKMiner (Social Network)


Скачать  VkMiner_32
Информационная система для работы с социальной сетью "ВКонтакте".

Язык разработки: Delphi XE2, SQL

Время разработки: 02.2013 – наст.вр.

Разработчик: С.Кольцов, В.Филипов.

Возможности:

  • Загрузка персональные данные пользователей из списка Id
  • Загрузка списка друзей конкретного пользователя.    
  • Загрузка списка групп конкретного пользователя.
  • Загрузка списка пользователей конкретной группы.    
  • Расчет эго сети (Network of friends).    
  • Загрузка исходных данных для сети друзей    
  • Засчет сети друзей    
  • Загрузка данных со стены пользователя или группы.    
  • Загрузка списка обсуждений и самих обсуждений со стены.
  • Загрузка 'Discussion'
  • Загрузка 'Group Distribution'.    
  • Загрузка 'Group Distribution'.
  • Загрузка 'Random User sampling'.    
  • Загрузка 'Network of freinds + wall'.
  • Выгрузка результатов загрузки в формате csv.
  • Загрузка 'User parameter profile'.
  • Мониторинг процесса загрузок.

 

4. Скрипты и однозадачные безинтерфейсные софты: всего около 20

5. Стороннее программное обеспечение, используемое в ЛИнИс

 

По вопросам использования баз данных и программного обеспечения, разработанного в ЛИнИс, обращайтесь на linis-spb@hse.ru.

 


 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!