Вчера след обновяване на версията на mysql, server-ът ми започна да ми крещи, че има табличка, която не е била затворена чисто и има нужда от поправка и прочие. Блах, коя ще е тая таблица, все пак са ми около 30-тина на тоя сървър. Единият вариант е да видите в log-овете какво пише по въпроса и да пуснете поправка на съответната таблица или другият вариант – далеч по-добрият – е да пуснете поправка, проверка и оптимизиране на всички таблици. За тази цел ще използвам mysqlcheck инструмента. Общо взето вариантите в случая са като и двете коменди са синонимни една на друга:


mysqlcheck -Aor -u root -p

mysqlcheck -u root -p --auto-repair --check --optimize --all-databases

Общо взето, която и от двете команди да използвате, ефектът ще е еднакъв – ароматична поправка, проверка  и оптимизация на всички таблици. След като напишете която и да е от двете команди, ще бъдете попитани за root паролата на mysql server-a ви.

Днес си играх да оптимизирам една бавна SQL заявка от вида


SELECT * FROM 'table' WHERE `field` LIKE '%word%'

Къде е проблемният момент тука – последната част ‘%word%’ и в още по-голяма конкретност знака % преди думата, за която правим. Wildcard символът % ,преди която и да е стойност, директно ни превръща заявката директно в бавна, защото по този начин заявката ни спира да ползва индекси на полето. Решения както винаги има, но не винаги са ясни 😆 Общо взето MySQL си имат решение на тоя проблем с fulltext search индексиране на полето. Как става смяната на полето има много написано в документацията, но набързо ще опиша как се променя горната заявка, защото ще стигнем и до една малка драма накрая. Следка като приложим fulltext на полето горе, заявката трябва да се промени във вида:


SELECT * FROM `table` WHERE MATCH (field) AGAINST ('word')

Така структурата е очевидна и няма нужда от излишна дискусия. Горната заявка ще влезе в сила, ако думата, за която правите заявка е поне 4 символа, по подразбиране е това стойността, ако искате да я модифицирате трябва да укажете стойността, която желаете в my.cnf в частта  [mysqld] с декларацията ft_min_word_len=3 или 2, 1 не е добър избор очевидно 😉  . След като смените стойността и рестартирате mysql server-a трябва да направите repair на таблиците си, за да може новото индексиране да влезе в сила. До тук всичко ясно: правя промените, рестартирам, ребилдвам индексите и правя заявката и ми връща 0 реда 😀 Проверявам с


SHOW VARIABLES

Виждам че стойностите, който съм задал са влезли в сила, ребилдвам пак индексите – същия резултат. 🙄 Неприятно, много неприятно. От тук нататък започна едно голямо ругаене и ровене за ключа за бараката 😀 Който се оказа доста, доста интересен. Като цяло, като започнах да чета документацията за не знам кой път и стигнах до един интересен пасаж

 Such a technique works best with large collections (in fact, it was carefully tuned this way). For very small tables, word distribution does not adequately reflect their semantic value, and this model may sometimes produce bizarre results. For example, although the word “MySQL” is present in every row of the articles table shown earlier, a search for the word produces no results

ГРЕДА 😳  Дам табличката ми беше малка – все пак беше тестова. Наших заявката в една голяма таблица с над 2 000 000 реда и там нещата заспаха. Добре вече е ясен проблемът. За да стане ясно решението, ще спомена накратко, че full text search поддържа 3 разширени режима BOOLEAN , EXPRESSIONS и NATURAL LANGUAGE като последния работи по подразбиране. За различните режими може да проверите документацията, аз ще обясня с 2-3 думи за BOOLEAN понеже в него е разковничето. Той поддържа логически оператори от типа AND, OR , NOT и прочие и може да се правят разни магии с търсените фрази, да има една, да няма друга и прочие. Поддържа и символа *, който е еквивалент на wildcard символа % 😉 Той е полезен, когато търсената дума е под дължината на ft_min_word_len или за малки таблички ;). Поне при мен на таблица с около 100 реда върши идеална работа. Остана само да видим и завършената заявка:


SELECT * FROM `table` WHERE MATCH (field)
AGAINST ('*word*' IN BOOLEAN MODE)

Тука вече идва момент дали ни работи индексирането с wildcard символа – отговорът е не знам. Принципно мисля, че да, защото не е казано друго в документацията, но в документацията очевидно не се казват или показват много неща 😀

Enhanced by Zemanta

How PulseAudio works.

Image via Wikipedia

Днес най- накрая след една камара време реших да си купя още кабели за да си закача 5.1 аудио системата ми пълноценно. Досега я ползвах със нормален стерео кабел и след това системата сама си правеше деление на аудио каналите. Което не е никак добре. Сега вече за всеки канал си има отделен кабел и звукът е доста по чист (естествено), по плътен а на филмите усещането е подобрено много кратно. Имаше няколко малки драми които се оправят относителни интуитивно. Основната драма беше, че звукът тръгна само в front колоните без буфер център или задните след като пренастроих звуковата схема на Gnome да е 5.1 . В повечето плеъри имам опция за настройка в alsa часта за колко канално да е аудиото но има програми в които отсъствува такава възможност като да речем adobe flash player. Първоначалната ми идея беше просто да пренастроя .asoundrc като задам параметри да дублира звукът по всички канали – решение с което не се гордея защото не го обмислих изобщо. Конфигурацията тривиална :

pcm.!default {
type plug
slave.pcm „surround51“
slave.channels 6
route_policy duplicate
}

С нея нещата си дойдоха на място докато не осъзнах че alsa може да обработва само по 1 процес и докато тои не приключи да я ползва друг не може. 😳  Неприятно но факт бях забравил времената в който слушаш или player или youtube и ако едното ти омръзне трябва да затвориш програмата, че да ползваш другата апликация. Което веднага ми подсказа къде е истинския корен на нещата – конфигурацията на pulseaudio сървъра. Pulseaudio е най грубо казано прокси сървър който обработва информацията между аудио хардуера и аудио софтуера който иска да го ползва. Система която с години се доказа много кратно. При нея конфигурацията се намира в /etc/pulse/daemon.conf. По подразбиране всичко е закоментирано с ; така че ако не сте праивли промени може направо смело да добавите следните редове накрая на файлът:

enable-lfe-remixing = yes

default-sample-rate = 48000
default-sample-channels = 6

Имената на опциите са очевидни задаваме стойноста на колко канално аудио ще сме малък тунинг на стандартния битрейт и разрешване на lfe ремиксирането.  След това остава да рестартирате alsa и pulseaudio с

sudo /etc/init.d/alsa-utils restart && pulseaudio -k

От тук нататък за мен остана само а се наслаждавам на вече по доброто аудио.

edit: .asoundrc трябва да е със съдържание за да нямате проблеми със skype и някой други апликации

pcm.pulse {type pulse }
ctl.pulse { type pulse }

Enhanced by Zemanta

Напоследък се занимавам основно с код вместо с администриране затова драмите пред които се изправям с кодене са много повече от сървърните такива, затова реших да драсна няколко реда за глупостите които успявам да сътворя. Усилено се готвим да презентираме проекта си което форсира донякъде откриването на драматичните части

  • Първото нещо което което със сигурност щеше да създаде проблеми е изключването на javascript от браузърната поддръжка.  Както всяка модерна апликация така и нашия инструмент използва доста JS за AJAX и други динамични процеси които предават интерактивност и съвременно подобряват визията и функционалността. Помислихме за доста решения като най приемливото беше с бисквитка с информация и после php да проверява дали информацията е валидна и дали всичко е наред. Доста грамотно решение но накрая се появи още по приличен вариант. HTML който да се изпълнява ако попадне в noscript. Според мен е и най елегантното решение.

<noscript>
<meta http-equiv="refresh" content="0;URL=./nojs.html" />
</noscript>

Общо взето ситуацията е тривиална ако спрем JS поддръжката ще бъдем пренасочени към nojs.html. Простичко и доста ефективно решение

  • Php multhithreading – много нишковоста е нещо което доста полезно при процесори с повече ядро (не че на едноядрени не е ОК но при много ядрени системи нещата са друга бира). Нашия софтуер има част която се занимава с събирането на информация от други API – та и я импортва в наша база данни. Общовзето никакво предизвикателство освен че това го реализирахме пак на php с multhithreading в cli режим защото тоя процес е досатъчно голям и е необходимо да е атоматизиран за да се налга някой да го прави на ръка. Тука имаше една драма свързана с фокрването на процесите и поточно не самото създаване на child process-a а че скрипта изчакваше да приключабота за да създаде нов. Глупаво това убиваше идеята за multiprocessing каквото е действителност поведението а не на multhithreading но това са подробности. Най напред сложихме & след процеса което ще рече да продължава работат си скрипта но пак нямаше промяна в поведението изискваше се и стандартни изход от скрипта да бъде пренасочен – в моя случай най добре към /dev/null 🙂  Накрая структурата на тази част от кода изглеждаше така

$pid = pcntl_fork();
if ($pid == -1) {
die('could not fork');
}else if ($pid) {
// we are the parent
echo "I'm parent  \n";
pcntl_wait($status); //Protect against Zombie children
} else {
// we are the child
echo "I'm a child $timer  \n";
exec("$command > /dev/null &");
exit (0);
}

Примерчето отново е тривиално. От към производителност бях силно впечетлен със прекъсвани между вдигането на процесите и прочие направих около 50 child process-a които своя странба направиха 7800+ mysql inserts за около 30-40 сек. А машината е крайно хилава понеже ни е тестов върър преди да вдигнем приложението на реалния.

  • Mysql querys – бях шокиран от една велика глупост. Имаше един код който правеше 4-5 излишни заявки към базата данни, вместо да се използва едно по тлъсто sql query и после основната работа да я отнесе php-то. Драмата беше такава, най- напред се правеше една заявка която взимаше информация после изхода от заявката се използваше да се направят други заявки като тя служеше за аргументи. Доста грозна и тлъста ситуация. Subquery а е непозната територия явно както и left join или просто не са били обмисляни нещата добре. Хванах пренаписах заявката всичко се получи доста добре и като цяло натоварването падна с около 200% за същата част от кода.

В общи линии това са нещата на последък с които се заниамваме и немога да кажа че е скучно но понякога се изумявам от разни необмисляни парчета код които трябва да поправям а най стеращното е че често са мои 😆

Enhanced by Zemanta

Не съм писал за пореден път от … ужасно много време – причини бол пък и нежелание до някъде мисля. Пробвах се 3-4 пъти да постна някакви неща но не бях особено доволен от резултата и затова се отказвах всеки път 🙂 Реших да си поразгледам блогчето така просто за спорта 🙂 Интересни неща виждам. Истинската причина която ме накара да напиша сегашния пост не е повечето време което имам защото то си е същото като вчера, миналия ден и прочие а компилация от чувства която ме обзе 🙂 Съвременно попаднах и на това компютъра ми, надявам се автора да не ми се разсърди че го пускам 🙄

***

Мила,
Аз съм привлекателен мъж.
И го знам.
Познавам доста добре жените
и тайните
на телата им и на душите.
Мога
да обсебвам лесно слабите.
Силните
са по-трудни, но не за дълго.
Много
сами ме търсят, не за любов, а за
заместител.
Разбирам ги и им давам желаното.
Винаги
казвам думите, които искат и
целувам
умело там дето никой не смее.
Ръцете ми
магически карат телата им да пеят,
а после
когато се слеят с моето плачат…
Никога
не съм се гордял със себе си, но
не спирам.
Опитвал съм, не че не съм,
понякога,
искам да го знаеш, и все е било
неуспешно.
За това без душа съм останал.
Изгоних я
за да не ми пречи на решенията.
Всъщност
тя ме напусна отвратена от мен.
Днес
усещам нещо ново и мъчително.
Съвестта ми
разяжда ме и чудно как е останала
в мен
като тревичка поникнала в камък
студен.
Сега страдам, заслужено, и май съм
на път
да сторя най-после геройска постъпка
и кажа:
– Стой далече от мен. Пази се!
Обичам те!
Ти не заслужаваш заместител!