Блог

Elastic Search, Русская морфология

Это третья статья из цикла про Elastic Search. Речь пойдет о настройке русской морфологии Elastic Search. Настройка морфологии происходит путем добавлления в elastic search специальных анализаторов. Анализаторы учитывают особенности языка и за счет этого улучшаются результаты поиска.

Фильтр матерных слов для сайта

В данном посте решается задача обнаружения мата в комментариях. Впринципе можно сделать с помощью stop words. Эти списки есть в открытом доступе. Но, как правило, списки неполные. И уж точно не учитывают все возможные словоформы

В итоге многие матерные слова все равно идут мимо фильтра. На помощь приходят анализаторы. Всего мне попалось 2 анализатора, которые работают неплохо(смотрел варианты на php).

Elastic Search, Настройка синонимов

Это вторая статья из цикла про Elastic Search. Речь пойдет о настройках синонимов Elastic Search. Синонимы нужны в том случае, если у нас есть несколько слов, которые морфологически не похожи друг на друга, но при этом имеют сходное значение. Или это может быть профессиональный жаргон. Примеры: Углошлифовальная машина - болгарка, Отвертка - шуруповерт и т.д.

Стартовая проверка

Все настройки проводились на Elastic Search 6.1.2. Запускалось в Docker.

Elastic Search, быстрый старт

На текущем проекте используем Elastic Search. Elastic представляет собой движок для продвинутого поиска по документам. Основан на Apache Solr. По сути, является NoSQL хранилищем, и некоторые даже используют его, как отдельную БД.

За время работы нашлось несколько вещей, которые не сразу удалось настроить. Информации в сети много, но местами она не очень структурирована, либо есть различия для разных версий. Либо просто сразу не удается найти нужный материал. В результате пришлось перелопатить весь интернет, прежде чем все заработало как требовалось.

Это первая статья из цикла. Здесь все тривиально, речь пойдет о базовых настройках Elastic Search.

MageConf 2017

16 декабря 2017 г в Киеве прошла конференция по разработке на Magento - Mageconf 2017

Я посетил эту конференцию в рамках работы в компании "220 Вольт".

От нашей компании на конференцию поехали 3 человека. Иван Кулик - директор интернет магазина, Федор Зубков - project manager, Антон Шелыганов - PHP/Magento разработчик.

Вылетели из Санкт-Петербурга в пятницу 15 декабря, в 14:45. Летели компанией БелАвиа, с пересадкой в Минске, поскольку рейсов из России на Украину нет. Перелет получился немного утомительным, зато много кормили.

Спасибо, Yumasoft! Привет, 220В.

Всем привет. 29 октября 2017г был мой последний день работы в компании Yumasoft. Я проработал в компании 4 года. Это был очень важный и интересный этап моей жизни.

Друзья, коллеги, сегодня мой последний день работы в Yumasoft. Всем большое спасибо, было очень здорово с вами работать :) Всем желаю счастья и профессиональных успехов! А также успехов в общем деле. У нас классная команда! И классный продукт! На кухне вас ждет пицца и суши. Угощайтесь!

Я работал в основном на PHP и Javascript. За это время я успел поработать над огромным количеством разных проектов. Сначала это были аутсорсинговые проекты. Несколько порталов на актуальном на тот момент Yii1. Интересный проект связанный с майнингом альтернативных криптовалют. Несколько серверов для мобильных приложений, написаных на стремительно устаревающих Codeigniter и Cohana.

Потом был интересный опыт разработки CRM системы GetScorecard на чистом php. Стартап, взлет и падение... Увлечение python и некоторое разочарование... Новый для меня опыт Android разработки, но скорее так, проба пера... Самым крупным и инаиболее интересным проектом для меня был 9Round. Крупный проект на Yii2. Web-портал для сети фитнесс центров и много дополнительных сервисов. В том числе Ecommerce на Magento.

Создание alias команд под Windows

В процессе работы web-программисту часто приходится пользоваться командной строкой. Это может быть работа с git, установка библиотек через npm или commposer. Создание шаблона приложения. Очистка кэша web-приложения. Управление миграциями базы данных и т.д.

В таком случае могут возникнуть 2 проблемы. Во-первых нужно постоянно печатать повторяющиеся команды. Либо копировать откуда-то. Во вторых нужно помнить эти самые команды. Что тоже бывает сложно. Например команда создания миграции в symfony 3 выглядит так.

php bin/console doctrine:migrations:generate

В какой-то момент это все надоедает и хочется создать сокращения для команд. Под Windows можно сделать с помощью doskey.

Saint-Peterburg Symfony Meetup, 31 октября 2017

31го октября 2017 в Санкт-Петербурге состоялассь вторая встреча сообщества Symfoniacs - митап, посвященный PHP фреймворку Symfony. Митап проводился в офисе компании Datanyze на Херсонской 39. На самом деле, митап не столько даже о Symfony, сколько о разработке в целом.

Всего было 2 доклада. Первый доклад был про про Postgress от Руслана Ханова (Копания Яндекс). Доклад назывался "Postgres - универсальный провайдер данных".

Пишем парсер данных Выписки из ЕГРЮЛ/ЕГРИП

Всем привет! В этой статье расскажу о работе с "API Федеральной Налоговой Службы". И чем это в итоге обернулось.

В одном из проектов была задача было получать данные Юридическом Лице(ООО, ИП, и т.д.)

Проект представляет собой POS-систему для кафе и рестаранов. Для обслуживания, процессинга и учета клиентов используется корпоративный портал. Портал позволяет управлять клиентами и хранит мнжество данных от Названия организации до ОКВЭД(Общероссийский классификатор видов экономической деятельности).

При подключении нового клиента у него приходится запрашивать очень много информации. И в какой-то момент возникло желание получать хотя бы часть этих данных автоматически.

Research на тему распознавания лиц

Всем привет! Не так давно пришлось столкнуться с задачей распознавания лиц. Вернее даже не распознавания непосредственно лица, а распознавания типа. У знакомых ребят были идеи связанные с этим, им нужно было сделать прототип.

Задача примерно такая. Нужно написать серверную часть приложения, которое на вход получает картинку, фотографию лица, сделанную с мобильного устройства. Сервер должен распознавать лицо и узнавать его тип. Именно тип - овальный, прямоугольный и т.д.

Сама процедура определения типа описана тут: https://lifehacker.ru/2016/11/17/tip-lica/.