Splunk

V loni okolo 30.7.2010 jsem si na doporučení kolegy poslech CZ Podcast 39 - Operations a Devops. Povídání to je zajímavé. Hodně mě zaujala zmiňovaná aplikace Splunk, kterou jsem se rozhodl vyzkoušet. Je to komerční aplikace, která analyzuje a reportuje informace, které produkují aplikace skrze své logy. Vstupních cest je ovšem více. Tyto data aplikace indexuje a posléze můžeme velmi rychle pozorovat stav aplikace při vytížení a tím odhalovat slabá místa. Aplikace se skádá z části splunkd, která je napsána v C++, dále se hojně využívá jazyka Python. Do aplikace existuje spousta rozšíření pro sledování *NIX (Unix serverů) dále pak např. IBM WAS, JMX, F5, Cisco atd. Tvorba vlastních Apps je též možná. Rozšížení neboli Apps jsou k nahlédnutí na Splunkbase. Pro vyzkoušení jsem si stáhnul verzi pro FreeBSD a pro Linux. Samozřejmě, že jsem se musel registrovat.

splunk-4.2.2-101277-freebsd-7.3-amd64.tgz
splunk-4.2.2-101277-linux-2.6-amd64.deb

Instalace je velmi dobře zdokumentována pro jednotlivé systémy a nenarazil jsem při ní na nějaký velký problém. Systém je to velmi robusní a s jeho konfigurací a vyladěním se dá strávit spousta času. Přínos pro sledování aplikací určitě má. V mém krátičkém testu zprovoznění a konfigurace jsem si jej nainstaloval na dva servery. Na FreeBSD běžela hlavní část, která indexuje a na jeden vývojový server na Linuxu jsem zprovoznil druhou instanci. Která koukala na logy z Tomcatu a MySQL. Dle dokumentace jsem Linuxovou verzi nutil logy prenášet na server s FreeBSD. Vše konfigurováno dle dokumentace a výsledek se dostavil, na FreeBSD jsem ve webovém rozhraní sledoval stav Tomcatu na Linuxu. Apps JMX jsem bohužel neotestoval.

Pokud někdy bude více času a bude požadavek na LogManagement se sledováním co se kde právě děje určitě se o Splunk budu více zajímat. Osobně vítám, že tvurci aplikaci připravují pro široké spektrum operačních systémů a neomezují se např. na jednu platformu.

Test jabber klientů

Test jabber klientů, a set on Flickr.

Ověřil jsem funkčnost 5ti Jabber/XMPP klientů na jednom firemním serveru.

Testováno na jabber.milcomdk.cz

Via Flickr:
psi-0.14-win-setup.exe
pidgin-2.9.0.exe
miranda-im-v0.9.25-unicode.exe
jabbim-win32-0.5.1.exe
spark_2_6_3.exe

GPSBabel

Kdo používá GPS tak povětčinou bude znát i aplikaci GPSBabel, která toho umí skutečně hodně. Podporuje nepřeberné množství GPS formátů a zařízení. Aplikace je hojně využívána pod Linux/Unix operačnímamy systémy, ale je portována pod kde co jiného. Jelikož si rád z cest na kole i z pěších tůr poznamenávam trasy, tato aplikace mi umožňuje stahovat track logy.

Pro stažení track logu používám následující příkaz:

gpsbabel -t -i garmin -f /dev/ttyUSB0 -o gpx -F DKnL_NA-20110719.gpx

Kde -f ukazuje na zařízení kernel modulu garmin_gps pokud modul nepoužíváme, můžeme použít volbu -f usb: Kolega RSA007 dohledal velmi pěkný příkaz, kterým můžeme z GPS získat tracklog jen z daného dne a hodiny. Přesněji řečeno, pokud máme v ACTIVELOGu zaznamenány data např. z dovolené, kde jsme jezdili na kole, můžeme si takto zpětně vytáhnout jen dané datumové intervaly.

gpsbabel -t -i garmin -f /dev/ttyUSB0 -x track,pack,split,move=+2h,title="DKnL > Nachod # %Y%m%d",start=2011071907,stop=2011071908 -o gpx -F DKnL_NA-20110719-07-08.gpx.gpx

Další variantou, kterou používám je script, který volám pro ulození GPX do GPS při stažení souboru např. z Geocaching.com

cat bin/gpx2gps
#!/bin/bash
FILE=$1
gpsbabel -i gpx -f $FILE -o garmin,power_off=0 -F /dev/ttyUSB0

Někdo možná bude mít dotaz k čemu takový track log je dobrý. Máme možnost si jej nahrát do aplikací jako je GoogleEarth nebo Viking či QLandkarte. Které nám ukáží mapu a pžez ní vidíme naši trasu. Dále můžeme např. získaný GPX soubor importovat do webové aplikace Endomondo nebo jí podobné. Toto občas dělám, když mi selže mobilní aplikace Endomondo. Pokud se extra nudíte, můžeme data z cesty zapsat do pořízených fotografii, pomocí aplikace GPSCorrelate. Po umístění takové fotky do inteligentních galerií se ukazuje fotka na mapě, kde byla pořízena. Ukázka např. na Flickru.

Jakožto vlastník GPS značky Garmin GPSMap 60CSx, musím si zde poznamenat tento odkaz.

ACER Aspire Revo R3610 + XBMC

V pátek večer jsem byl u známého a pomáhal jsem mu s instalací Ubuntu 10.04.2 na mini PC ACER Aspire Revo R3610 pro jeho potřeby funkcionality HTPC. Na daném HW měl usídlené Win 7 a jak se dalo čekat výrobce má dvě servisní parcely. On si vytvořil další dvě. Jednu pro systém a druhou pro data. Fakt, že pátá primary partition již přidat nepůjde jsem zjistil až po dlouhém zmenšování a přesouvaní parcel pomoci Gparted, který je součástí Ubuntu Live CD.

Po zbytečném parcelování jsem se uchýlil k testovací instalaci do Windows pomoci Wubi, sice neefektivní, ale plně funkční. Onen známý požadoval do Ubuntu nainstalovat XBMC. Původně byl tento systém jen pro Xbox, ale projekt se stal natolik úspěšným a daný produkt je možno provozovat na několika platformách.

Acer Revo je malý PC s CPU Atom. Nemá CD-ROM, tak jsem instalaci realizoval z USB flash disku. Popisovat instalaci Ubuntu Desktop asi není třeba. Pro instalaci XBMC jsem volil patřičný PPA repozitář, který je popisován na projektu v sekci Wiki. Samotná instalace už byla hračkou. Velmi mě daná aplikace překvapila hlavně popisem všech funkcionalit.

deb http://ppa.launchpad.net/team-xbmc/ppa/ubuntu lucid main
deb-src http://ppa.launchpad.net/team-xbmc/ppa/ubuntu lucid main 

Popis instalace zde.

Problém, který jsme intenzívně řešili spočíval v nefunkčnosti zvuku přez HDMI. Kolega Google dodal jeden návod a drobná konfigurace ALSA sound systému zvuk umravnila. Ještě snad jen poznámka, že pro funkci HDMI musí byt instalován nVidia driver.

vSphere Command-Line Interface

Na adrese http://communities.vmware.com/community/developer se náchází spousta vývojářských nástrojů pro práci s VMware produkty. Již delší dobu jsem si chtěl zprovoznit Command-Line Interface Díky tomuto nástroji se dá spousta věcí zautomatizovat. Potřebné balíky do Ubuntu pro instalaci.

sudo apt-get install libssl-dev perl-doc liburi-perl libxml-libxml-perl libcrypt-ssleay-perl

tar -zxvf VMware-vSphere-CLI-4.1.0-254719.x86_64.tar.gz
cd vmware-vsphere-cli-distrib/
sudo ./vmware-install.pl
...
version 0.78 or newer
UUID 0.03 or newer

Pár ukázek:

esxcfg-nas -l --server esxi.domena.cz --username root
Enter password:
VMNFS is /data from 192.168.10.42 mounted

esxcfg-cfgbackup --save --encoding utf8 --server esxi.domena.cz --username root esxi.cfg
Enter password:
Saving firmware configuration to esxi.cfg ...

esxcli --encoding utf8 --server esxi.domena.cz --username root vms vm list
Enter password:
TestFBSD81
World ID: 123002
Process ID: 0
VMX Cartel ID: 123001
UUID: 56 4d fc 69 14 5f 06 16-00 e6 09 ee 47 5e b9 9b
Display Name: TestFBSD81
Config File: /vmfs/volumes/4cdbbaaa-3d6f9e43-6d05-0030483274d9/TestFBSD81/TestFBSD81.vmx

vicfg-hostops --server esxi.domena.cz --username root -password "*****" --operation info

Host Name : esxi.domena.cz
Manufacturer : Supermicro
Model : X7DB8
Processor Type : Intel(R) Xeon(R) CPU 5160 @ 3.00GHz
CPU Cores : 4 CPUs x 2999 GHz
Memory Capacity : 8190.71484375 MB
VMotion Enabled : no
In Maintenance Mode : yes
Last Boot Time : 2010-11-22T11:31:51.737555Z

resxtop --server esxi.domena.cz --username root -a

esxcli --server esxi.domena.cz --username root network connection list
esxcli --server esxi.domena.cz --username root network neighbor list
esxcli --server esxi.domena.cz --username root nmp device list

Např. zde je velmi pěkná ukázka využití CLI pro instalaci driveru. Doporučuji nastudovat tento dokument vsp4_41_vcli_inst_script.pdf

MRP-K/S Firebird21 Ubuntu

Jeden známý mě požádal o instalaci Linuxu pro jeho účetnictví. Tím je MRP-K/S a tak jsem pátral co si to žádá. Již v minulosti jsem si zkoušel instalovat databázi Firebird z portu na FreeBSD, ale neměl jsem žádnou aplikaci, která by ji využívala. Testoval jsem hlavně patřičný php modul.

Výrobce na svém FAQ uvádí podrobné informace o instalaci dané databáze. Taktéž umožňuje staženi Linuxové verze, ale je možno užít i aktuální verzi.

Před manuální instalací je vhodné prověřit verzi NPTL, zratka znamená Native POSIX Thread Library.

Verzi prověříme takto

getconf GNU_LIBPTHREAD_VERSION

NPTL 2.7 # 8.04.4 LTS
NPTL 2.9 # 9.04
NPTL 2.11.1 # 10.04 BETA1
NPTL 2.15 # 12.04.4 LTS

Dále je doporučeno nastavit sysctl proměnné net.ipv4.tcp_keepalive*

joe /etc/sysctl.conf
net.ipv4.tcp_keepalive_time=60
net.ipv4.tcp_keepalive_probes=5net.ipv4.tcp_keepalive_intvl=15

defaultni hodnoty v Ubuntu jsou
net.ipv4.tcp_keepalive_time = 7200
net.ipv4.tcp_keepalive_probes = 9
net.ipv4.tcp_keepalive_intvl = 75

Budeme potřebovat tuto knihovnu
apt-get install libstdc++5

Provedeme ruční instalaci na Ubuntu 8.04.4 LTS Server Edition, protože v daném release Firebird21 není. Na Launchpadu je přehled verzí v daných vydání Ubuntu.

mkdir /opt/install
cd /opt/install
tar xvzf FirebirdSS-2.1.3.18185-0.i686.tar.gz
cd FirebirdSS-2.1.3.18185-0.i686./install.sh

instalace provede zmeny v /etc/services, /etc/passwd a vytvoří systémové starovací skripty.

Vytvoříme si první databázi.

root@firebird:/opt/firebird/bin# ./isql
Use CONNECT or CREATE DATABASE to specify a database
SQL> CREATE DATABASE '/data/test.fdb' page_size 8192
CON> user 'SYSDBA' password 'mojeheslo';

Dále jsem testoval očekávané Ubuntu 10.04 BETA2 Server Edition. Tam je instalce Firebirdu 2.1 o poznání snažší.

apt-get install firebird2.1-super
dpkg-reconfigure firebird2.1-super

UPDATE 29.1.2014

Po letech si MRP K/S verze 5.24.001 vyžádalo Firebird 2.5. Ubuntu server 12.04.3 LTS ovšem obsahuje jen verzi firebird2.5-super 2.5.1.26351.ds4-2ubuntu0.1. Ale MRP vyžaduje ještě novější verzi. Proto je třeba přidat externí repo. Např. dle tohoto návodu.


add-apt-repository ppa:mapopa/ppa
apt-get update
apt-get install firebird

firebird2.5-common               2.5.2.26540.ds4-8ubuntu4
firebird2.5-common-doc           2.5.2.26540.ds4-8ubuntu4
firebird2.5-server-common        2.5.2.26540.ds4-8ubuntu4
firebird2.5-super                2.5.2.26540.ds4-8ubuntu4