Tale članek sem se spravil pisat že dobro leto nazaj. Vmes sem tudi sformatiral disk in so šle stvari v tri … Kljub temu da je članek še vedno nedokončan sem se odločil da ga objavim, saj bo marsikomu v pomoč pri prvih korakih TDD-ja.

Prvi odziv programerjev ob omembi Test-Driven Developmenta je ponavadi negativen, saj pomislijo le na eno: “Tole mi bo pa vzelo dodatnih 50% več časa pri razvoju aplikacij.” Podoben odziv sem pred kratkim doživel pri “naših” programerjih, ko sem jim kazal kako naredimo “Acceptance Test” z uporabo Selenium RC-ja.^[1]
Zgornja trditev bi načeloma veljala samo če bi se življenski cikel aplikacije zaključil z prvo produkcijsko verzijo, ter ob klasičnem razvoju Dizajn-Implementacija-Testiranje^[2]. To zgodbo najverjetneje vsi poznamo:
“Imamo dva programerja, ki vsak zase nadgrajujeta svoj del že žive aplikacije. Ob združitvi kode, zgleda kot, da je vse ok. Čez čas dobita klic^[3], da določene stvari ne delajo, čeprav so prej delale. Vsak posebej za iskanje in razhroščevanje kode porabita polovico dneva.”
Take in podobne zgodbe so lahko preteklost. Rešitev je TDD.

Kaj je TDD

Test-Triven Development (TDD) je razvojna tehnika za softver. Z TDD tehniko stvari postavimo malce na “glavo”. Teste pišemo preden začnemo pisat implementacijsko kodo!. Test pelje oziroma diktira kodo ki se razvija.^[4]
TDD cikel pri razvoju aplikacij izgleda nekako takole:

• Dizajn: Pogruntamo kaj želimo narediti
• Test: Napišemo test, ki izraža naš dizajn.
  • Test ne bi smel uspeti – FAIL
• Implementacija: Napišemo kodo
• Test: ponovno
  • Test bi moral uspeti – PASS
• Refactoring po potrebi
• Ponavljaj

Še vedno vas je strah da bo več dela. Malce pa res. :)
Tri različne študije (Microsoft, IBM, John Deere / Ericsson) so pokazale:

• TDD projekti imajo dva krat večjo kvaliteto kode.
• Pisanje testov vzame le 15% več časa – dolgoročno gledano.
• Število hroščev in defektov je manjše za 40%.
• Skupinska produktivnost se poveča za 16%.

Testiranje

Kaj potrebuje testiranje?
- Backend: programska logika in ponovno uporabljene komponente
- Frontend: procesiranje form, templatov, bogata vsebina z uporabo “AJAX-a#, JSON, RSS Feed, Web Servisi

Kako testiramo?
- Backend: test funkcionalnosti programske logike z Unit Testi
- Frontend: “Acceptance” in Sistemski testi, ki se izvajajo na brskalniku, Testiranje RSS Feedov, Web servisov z Unit Testi, Kompatibilnostni testi …

Acceptance testing

je testiranje na določenem sistemu po principu “črne škatle“. Acceptance test zagotavlja da koda počna to kar želi “stranka”^[5], ne pa pričakovanj razvijalca! Temu testiranja bi lahko preprosto rekli tudi testiranje funkcionalnosti. Pa poglejmo kako implementirati Acceptance Test z “ubijalsko kombinacijo” PHPUnit in Selenium.

Priprave na testiranje

Zahteve:

• PHPUnit http://www.phpunit.de
• Testing_Selenium http://pear.php.net/package/Testing_Selenium
• Java 5 (1.5.0) je potrebna za Selenium RC http://java.sun.com
• Selenium Remote Control (RC) http://selenium.openqa.org/
• Xdebug^[6] če želimo informacije o “Code Coverage” http://www.xdebug.org

V tem članku uporabljamo PHPUnit, kateri od verzije 3.0 naprej, vsebuje PHPUnit_Extensions_SeleniumTestCase razred, katerega lahko uporabljamo za definicijo Acceptance testov. Sam razred pa za opravljanje testov potrebuje Selenium Core. Zelo pomembno je, da ne pozabimo da to NI Unit testiranje. PHPUnit je knjižnica za “Unit Testing”, med drugim pa je framework prav tako uporaben za integracijske ter acceptance teste.

Inštalacija PHPUnit:
Priročnik PHPUnit-a priporoča inštalacijo frameworka z uporabo PEAR Installer-ja. PEAR kanal (pear.phpunit.de), kateri se uporablja za distribucijo PHPUnit-a bora biti registriran z lokalnim PEAR okoljem.^[7] Ko to enkrat naredimo, uporabimo PEAR za inštalacijo paketa od PHPUnit kanala.

Inštalacija PHPUnita
PHPUnit dokumentacijo za Selenium najdete na http://www.phpunit.de/pocket_guide/3.2/en/selenium.html. Sedaj nam preostane še da iz PEAR kanala inštaliramo Testing_Selenium paket, ki ga potrebuje PHPUnit Selenium podaljšek.



Inštalacija paketa Testing_Selenium

Selenium:
je paket orodij za avtomatsko testiranje spletnih aplikacij. Vsebuje kar nekaj paketov, med drugim Selenium Core, Selenium RC, Selenium IDE, … Selenium Core opravlja aktivnosti uporabnika, izvaja test in obvešča o rezultatih testa. Selenium RC je dodatni serverski proces, ki ga rabimo, če želimo izvajati teste z PHPUnit podaljškom za Selenium. Njegov glavni namen je da omogoča izbranemu programskemu jeziku interakcijo z Selenium Core ki laufa na brskalniku z uporabo preprostega HTTP GET klica do RC strežnika. Komplicirano?!
Najnovejši Selenium RC dobite na http://selenium-rc.openqa.org/download.html. Po tem ko raspakiramo paket v njem najdemo kar nekaj map. V eni izmed njih je Selenium server, ostali so client driverji za različne programske jezike. Mi smo ga za PHP že inštalirali preko PEAR instalerja. Selenium RC zaženemo preprosto iz command lina:

java -jar selenium-server.jar -interactive

Še prej pa smo seveda inštalirali Javo. :)

Inštalacija Xdebug-a:
Xdebug je podaljšek za PHP, ki primarno služi za “debugging” – razhroščevanje kode, pri čemer je sposoben navrčt celo paleto koristnih informacij. Zna pa še narediti profil – “profiling” skripte in analizo pokritosti kode – “code coverage analysis”. Prav slednjo zadevo bomo pokazali v našem članku. Velja si zapomniti, da Xdebug ni potreben za izvajanje testov in da ga ne morete imeti naloženega skupaj z Zend Debuggerjem.
Najlažje je Xdebug inštalirati preko PEAR/PECL kanala.

pecl install xdebug

V php.ini dodamo tole klobaso^[8] za temeljit izpis informacij, remote debugging ter profiling na triger:

[Xdebug]
zend_extension="/opt/local/lib/php/extensions/no-debug-non-zts-20060613/xdebug.so"
;General
xdebug.default_enable=On
xdebug.show_exception_trace=Off
xdebug.show_local_vars=1
xdebug.max_nesting_level=50
xdebug.var_display_max_data=3072
xdebug.var_display_max_depth=12
xdebug.dump_once=On
xdebug.dump_globals=On
xdebug.dump_undefined=On
xdebug.dump.REQUEST=*
xdebug.dump.SERVER=REQUEST_METHOD,REQUEST_URI,HTTP_USER_AGENT
xdebug.collect_params=4
xdebug.collect_includes=On
xdebug.collect_return=On
xdebug.show_mem_delta=On

;Remote debugging
xdebug.remote_enable=On
xdebug.remote_host="localhost"
xdebug.remote_port=9000
xdebug.remote_handler="dbgp"

;Profiling
; Turns it off by default
xdebug.profiler_enable=0
; Turns xdebug on when ?XDEBUG_PROFILE=true is in GET or POST
xdebug.profiler_enable_trigger=1
; Your output directory - you'll eventually point webgrind at this
xdebug.profiler_output_dir="/tmp"

O samem orodju podrobno kdaj drugič. Gremo nazaj na testiranje.

Pisanje in zagon acceptance testov

Osnovna forma za acceptance test z PHPUnit in Selenium RC je zelo preprosta.

/** PHPUnit_Extensions_SeleniumTestCase */
require_once 'PHPUnit/Extensions/SeleniumTestCase.php';

class MonetaOrderTest extends PHPUnit_Extensions_SeleniumTestCase
{
    protected function setUp()
    {
        /**
         * '*firefox' => Firefox 1 or 2
         * '*iexplore' => Internet Explorer (all)
         * '*custom /path/to/browser/binary => Other browsers (incl. Firefox on Linux)
         * '*iehta' => Experimental Embedded IE
         * '*chrome' => Experimental Firefox profile
         */
        $this->setBrowser(*firefox /Applications/Firefox2.app/Contents/MacOS/firefox-bin);
        $this->setBrowserUrl(http://gateway.home.internet-solutions.si);
    }

    /**
     * Test if
     * label First Name exists
     * element firstName exists
     *
     */
    public function testFirstNameExists()
    {
        //open test/moneta
  	$this->open(http://gateway.home.internet-solutions.si/test/moneta');
  	/** First Name */
  	//label exist
        try {
            $this->assertEquals("First Name", $this->getText("//form[@id='moneta']/dl/dt[1]/label"));
        } catch (PHPUnit_Framework_AssertionFailedError $e) {
            array_push($this->verificationErrors, $e->toString());
        }
        //element present
        $this->assertTrue($this->isElementPresent("firstName"));
    }
}

Metoda setUp() se uporablja za “zagon” testa. Tukaj definiramo kateri brskalnik se naj koristi. Firefox je le ena od možnih opcij. V primeru da Selenium RC ne vsebuje privzete reference za vaš priljubljeni brskalnik^[9] lahko uporabite prefix “*custom” pri kateremu določite pot do vašega izbranega brskalnika. Metoda setBrowserUrl() nastavi URL iz katerega potekajo vsi testi.

Če vas zanima še kaj o test driven developmentu me kontaktirajte.

Happy blogging(coding)!

1. podrobno bom predtavil testiranje z Selenium RC v današnjem članku
2. če je sploh kaj testiranja pred produkcijo
3. ponavadi od stranke, katero pa opozorijo uporabniki
4. Sedaj vemo od kod ime Test-Driven Development
5. uporabnik, brskalnik
6. opcijsko – ni pogoj za izvajanje testov
7. predvidevajmo da imate PEAR že inštaliran
8. v njej prilagodite pot do podaljška
9. v kar dvomim ;)

Perl module z imenom SQLFairy (SQL::Translator) sem odkril čisto po naključju med tem ko sem se spoznaval z Doctrine. Ta ORM za PHP do verzije 0.11 ne omogoča da bi mu preprečili avtomatsko “singularizacijo” “podatkovnih modelov” ki jih generiramo iz trenutne baze. Da ponazorim: če imamo tabelo z imenom “files”, bo Doctrine generiral model z imenom “File” in ne “Files”. Čeprav mi ni ravno jasno kako^[1], določeni modeli dobijo kar čudna imena ;)^[2] .
Da ne bi vedno znova popravljal YAML datoteko, ki opisuje shemo podatkovne baze, sem se lotil malega raziskovanja. Naletel sem na …

SQLFairy …

ali z drugim imenom SQL::Translator. To orodje za SQL, je trenutno najbolj enostavni način za manipulacijo z “podatkovnimi strukturami”^[3] na vse mogoče načine. Služi nam lahko za konvertiranje med različnimi “dialekti” CREATE sintaks (npr: iz MySQL v PostgreSQL), za virtualizacijo shem (pseudo-ER diagrami z uporabo: GraphViz ali GD-ja), za konvertiranje ne-RDMBS datotek v SQL sheme (Excelove preglednice), ter še kaj bi se našlo.
Z razbitjem kode v “parserje”^[4] in “izdelovalce”^[5], je zmožen kombinacije kateregakoli parserja z izbranim izdelovalcem. Trenutno pa je SQLFairy sposoben uporabljati le definicijski del SQL-a^[6], ne pa same manipulacije s podatki^[7].

Namestitev in konfiguracija

Za začetek si prenesite SQL::Translator na disk. Ker gre za standardne Perl module, je inštalacija sila preprosta, sledite le navodilam v README fajlu.^[8]
Po razpakiranju paketa sledimo navodilom:

$ perl Build.PL
$ ./Build
$ ./Build test
$ su
# ./Build install

V primeru da nimate inštaliranih vseh ustreznih modulov, ki jih rabi SQL::Translator se bo skripta Build.PL ustavila. Če do sedaj niste kaj prida uporabljali Perl bo vam najverjetneje manjkal modul z imenom’Module::Build‘, ki je potreben za grajenje in inštalacijo Perl modulov. Najenostavnejši način, da si inštaliramo manjkajoče zadeve, je z uporabo CPAN-a. Ukaze lahko vnašamo direktno v konzolo ali pa preko -MCPAN vmesnika.^[9]
Primer vnosa direktno v konzolo:

# sudo perl -MCPAN -e 'install Module::Build'

Sledila bo konfiguracija CPAN modula, ter inštalacija Module::Build. Konfiguracija se ustavi, če nimate vseh ustreznih programčkov, ki jih CPAN rabi. Meni sta manjkala: NcFtp klient ter GnuPG. Po cca. 15 minutah v pričakovanju vtipkamo nesrečni “./Build install” :)

Sqlt

Če ste se uspešno prebili do te točke bi sedaj morali imeti na voljo ukaz “sqlt”. Ukaz konvertira SQL sheme z uporabo SQL::Translator-ja. Tipičen primer uporabe je:

sqlt -f MySQL -t PostgreSQL  dump_mysql.sql > dump_postgresql.sql

Končni rezultat je opis tabel v datoteki dump_postgresql.sql v sintaksi PostgreSQL-a, ki smo ga konvertirali iz MySQL sintakse.
Spisek vseh možnih parserjev in izdelovalcev dobimo:

sqlt -l

Spisek vseh možnih parserjev in izdelovalcev.

Use cases

Kot primer bomo vzeli SQL DDL psevdokodo, ki jo bomo iz MySQL sintakse konvertirali v različne formate.
Psevdokoda:

CREATE TABLE bugs (
  bug_id            INTEGER NOT NULL PRIMARY KEY,
  bug_description   VARCHAR(100),
  bug_status        VARCHAR(20),
  reported_by       VARCHAR(100),
  assigned_to       VARCHAR(100),
  verified_by       VARCHAR(100)
);

MySQL sintaksa:

CREATE TABLE `bugs` (
  `bug_id` int(11) NOT NULL,
  `bug_description` varchar(100) default NULL,
  `bug_status` varchar(20) default NULL,
  `reported_by` varchar(100) default NULL,
  `assigned_to` varchar(100) default NULL,
  `verified_by` varchar(100) default NULL,
  PRIMARY KEY  (`bug_id`)
) ENGINE=MyISAM;

Konverzija v PostgreSQL:

sqlt -f MySQL -t PostgreSQL bugs_mysql.sql > bugs_postgresql.sql

PostgreSQL sintaksa:

CREATE TABLE "bugs" (
  "bug_id" bigint NOT NULL,
  "bug_description" character varying(100) DEFAULT NULL,
  "bug_status" character varying(20) DEFAULT NULL,
  "reported_by" character varying(100) DEFAULT NULL,
  "assigned_to" character varying(100) DEFAULT NULL,
  "verified_by" character varying(100) DEFAULT NULL,
  PRIMARY KEY ("bug_id")
);

Konverzija v YAML:

sqlt -f MySQL -t YAML bugs_mysql.sql > bugs.yaml

YAML sintaksa:

schema:
  procedures: {}
  tables:
    bugs:
      constraints:
        - deferrable: 1
          expression: ''
          fields:
            - bug_id
          match_type: ''
          name: ''
          on_delete: ''
          on_update: ''
          options: []
          reference_fields: []
          reference_table: ''
          type: PRIMARY KEY
      fields:
        assigned_to:
          data_type: varchar
          default_value: NULL
          extra: {}
          is_nullable: 1
          is_primary_key: 0
          is_unique: 0
          name: assigned_to
          order: 5
          size:
            - 100
        bug_description:
          data_type: varchar
          default_value: NULL
          extra: {}
          is_nullable: 1
          is_primary_key: 0
          is_unique: 0
          name: bug_description
          order: 2
          size:
            - 100
        bug_id:
          data_type: int
          default_value: ~
          extra: {}
          is_nullable: 0
          is_primary_key: 1
          is_unique: 0
          name: bug_id
          order: 1
          size:
            - 11
        bug_status:
          data_type: varchar
          default_value: NULL
          extra: {}
          is_nullable: 1
          is_primary_key: 0
          is_unique: 0
          name: bug_status
          order: 3
          size:
            - 20
        reported_by:
          data_type: varchar
          default_value: NULL
          extra: {}
          is_nullable: 1
          is_primary_key: 0
          is_unique: 0
          name: reported_by
          order: 4
          size:
            - 100
        verified_by:
          data_type: varchar
          default_value: NULL
          extra: {}
          is_nullable: 1
          is_primary_key: 0
          is_unique: 0
          name: verified_by
          order: 6
          size:
            - 100
      indices: []
      name: bugs
      options:
        - ENGINE: MyISAM
      order: 1
  triggers: {}
  views: {}
translator:
  add_drop_table: 0
  filename: bugs_mysql.sql
  no_comments: 0
  parser_args:
    db_password: ~
    db_user: ~
    dsn: ~
    field_separator: ~
    mysql_parser_version: ~
    record_separator: ~
    scan_fields: 1
    trim_fields: 1
  parser_type: SQL::Translator::Parser::MySQL
  producer_args:
    add_prefix: ~
    add_truncate: ~
    db_password: ~
    db_user: ~
    dsn: ~
    imap_file: ~
    imap_url: ~
    indent: ~
    newlines: ~
    package_name: ~
    prefix: ~
    pretty: ~
    skip: ~
    skiplike: ~
    title: ~
    tt_conf: {}
    tt_vars: {}
    ttfile: ~
  producer_type: SQL::Translator::Producer::YAML
  show_warnings: 0
  trace: 0
  version: 0.09000

Konverzija v XML:

sqlt -f MySQL -t XML bugs_mysql.sql > bugs.xml

XML sintaksa:

<?xml version="1.0" encoding="UTF-8"?>
<!--
Created by SQL::Translator::Producer::XML::SQLFairy
Created on Wed Jun 25 13:40:31 2008
 -->
<schema name="" database="" xmlns="http://sqlfairy.sourceforge.net/sqlfairy.xml">
  <extra />
  <tables>
    <table name="bugs" order="1">
      <extra />
      <fields>
        <field name="bug_id" data_type="int" size="11" is_nullable="0" is_auto_increment="0" is_primary_key="1" is_foreign_key="0" order="1">
          <extra />
          <comments></comments>
        </field>
        <field name="bug_description" data_type="varchar" size="100" is_nullable="1" default_value="NULL" is_auto_increment="0" is_primary_key="0" is_foreign_key="0" order="2">
          <extra />
          <comments></comments>
        </field>
        <field name="bug_status" data_type="varchar" size="20" is_nullable="1" default_value="NULL" is_auto_increment="0" is_primary_key="0" is_foreign_key="0" order="3">
          <extra />
          <comments></comments>
        </field>
        <field name="reported_by" data_type="varchar" size="100" is_nullable="1" default_value="NULL" is_auto_increment="0" is_primary_key="0" is_foreign_key="0" order="4">
          <extra />
          <comments></comments>
        </field>
        <field name="assigned_to" data_type="varchar" size="100" is_nullable="1" default_value="NULL" is_auto_increment="0" is_primary_key="0" is_foreign_key="0" order="5">
          <extra />
          <comments></comments>
        </field>
        <field name="verified_by" data_type="varchar" size="100" is_nullable="1" default_value="NULL" is_auto_increment="0" is_primary_key="0" is_foreign_key="0" order="6">
          <extra />
          <comments></comments>
        </field>
      </fields>
      <indices></indices>
      <constraints>
        <constraint name="" type="PRIMARY KEY" fields="bug_id" reference_table="" reference_fields="" on_delete="" on_update="" match_type="" expression="" options="" deferrable="1">
          <extra />
        </constraint>
      </constraints>
      <comments></comments>
    </table>
  </tables>
  <views></views>
  <triggers></triggers>
  <procedures></procedures>
</schema>

Happy blogging(coding)!

1. Nisem se poglabljal v kodo ki generira imena modelov
2. moneta je postala “Monetum”
3. structured data definitions – schemes
4. parsers
5. producers
6. CREATE, ALTER
7. INSERT, UPDATE, DELETE
8. Tukaj predvidevamo da imate Perl ustrezno inštaliran na vašem računalniku
9. kot super-user

Po dolgem času spet nekaj za narodov blagor. Od zadnje objave je minilo kar nekaj časa. Delavniki so še vedno enaki: sestanki, ideje, realizacija, skratka ena velika “gužva” :)
Doma in v službi sem dokončno prešaltal na linux. Svojemu profilu na LinkedIn lahko počasi dodam napredno znanje in administracija Debian/Ubuntu based linux distribucij.
Še vedno veliko raziskujem in testiram. Med zadnjimi uspešnimi eksperimenti je inštalacija Leoparda (Mac Os X 10.5.2) na zunanjem USB disku na dve leti starem PC-ju z AMD Athlon 64 procesorjem. Kako mi je to uspelo, vam ne morem razkriti, saj je celotna stvar namenjena testiranju in ni ravno legalna ;) Koga zanima kaj več si naj ogleda OSx86 Project. Vsekakor je Mac Pro moj developer dream machine, saj mi kljub n-odprtim aplikacijam:

• Firefox z cca 50 odprtimi tabi
• Opera z cca 20 odprtimi tabi
• Safari z cca 10 odprtimi tabi
• Zend Studio for Eclipse
• Aptana Studio
• in še eno 20 raznoraznih programčkov

na PC-ju ni uspelo preobremenit procesor in s tem OS X, da bi ta vsaj malo počepnil. Kako celotna zadeva deluje na originalnem Macu pa si lahko le zamišljam.

Vlogger

Vlogger je majhen programček napisan v perlu s katerim zapisujemo Apache log datoteke razbite na mape virtual hostov. V posameznih mapah se nahajajo dostopi (access.log) po dnevih. Z malenkostnim popravkom skripte pa lahko v istih mapah shranjujemo tudi napake (error.log). Zadeva je zelo podobna cronolog-u, le da ne rabimo za vsak virtual host pisat svojo
direktivo, kar posledično zmanjša število dostop in s tem “file handlov”. Zakaj je to pomembo?
Recimo da ima vsak Virtual Host svoje log datoteke in nimamo nobene posebnosti pri zapisovanju logov (ne uporabljamo rotatorja/parserja ampak pustimo da Apache sam skrbi za log datoteke) bomo pri nekaj več sto Virtualnih Hostov kmalu naleteli na težave. Apache-ju bo kaj kmalu zmanjkalo tako imenovanih “file deskriptorjev“, ki jih ima na voljo.
Tukaj pridejo na pomoč razni “virtual web logfile rotater/parser” programčki. Med njimi je tudi vlogger. Sam sem stestiral vlogger na Debian/Ubuntu linuxu, Mac Os X ter FreeBSD-ju. Na vseh sistemih sem pred tem Apache2 že inštaliral in vlogger je na vseh deloval kot namazan.

Inštalacija

Linux:

sudo apt-get install vlogger

Mac Os X, FreeBSD:
Prenesi datoteko vlogger-1.3, odpakiraj in prekopiraj vlogger v /usr/sbin/ direktorij.

Konfiguracija

Vse kar moremo narediti, da bo vlogger špilal je da v globalno konfiguracijsko datoteko od Apache strežnika postavimo eno “CustomLog” direktivo in ta bo zapisoval dostopne loge za vsak Virtual Host in dan posebej.
Še prej pa popravimo “LogFormat” vrstico (tisto z imenom combined). Dodamo string %v na začetek le te. Odprimo apache konfiguracijsko datoteko^[1]:

[...]
#LogFormat "%h %V/%v %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%v %h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
[...]

Popravimo še “CustomLog” vrstico

[...]
#CustomLog /var/log/apache2/access.log combined
CustomLog "| /usr/sbin/vlogger -t \"access.log.%Y-%m-%d\" -s access.log /var/log/apache2" combined
[...]

Tako bomo zapisovali vse log datoteke v poddirektorije^[2] v “/var/log/apache2″ z imenom access.log.yyyy-mm-dd z simbolicnim linkom “access.log”
Kot sem že omenil potrebujemo samo eno “CustomLog” direktivo za celotno konfiguracijo Apache-ja.

NE POZABITE izključit ostale “CustomLog” direktive, še posebej v Virtual Host konfiguracijah!

Dodatna prednost v eni sami dostopni datoteki, poleg že omenjenega limita “file deskriptorjev”, je seveda zmanjšanje server loada še posebej na straneh z veliko prometa.

Primer zapisa access logov na Ubuntu 6.06

ErrorLog mode

Z vlogger-jem lahko parsamo tudi napake. V tem modu je parsanje host-a izključeno in datoteka se zapiše z uporabo template datoteke v podani LOGDIR^[3].

[...]
#ErrorLog "/var/logs/apache2/error.log"
ErrorLog  "| /usr/sbin/vlogger -e -t \"error.log.%Y-%m-%d\" -s error.log /var/log/apache2/errors"
[...]

Prav tako nastavimo level napak, ki se naj shranjujejo v ErrorLog. Za produkcijo je priporočljiv vsaj level Critital Conditions.

[...]
#
# LogLevel: Control the number of messages logged to the error_log.
# Possible values include: debug, info, notice, warn, error, crit,
# alert, emerg.
#
LogLevel crit
[...]

Če želimo v error log ujeti še PHP napake v php.ini-ju nastavimo naslednje:

[...]
;Log errors into a log file (server-specific log, stderr, or error_log (below))
; As stated above, you're strongly advised to use error logging in place of
; error displaying on production web sites.
log_errors = On
[...]

Primer zapisa error loga na Ubuntu 6.06

Tip

Z malim popravkom vlogger skripte lahko error.log datoteke zapisujete v Virtual Host mape, kjer se že nahajajo access.log datoteke. Ne priporočam tega v produkciji, saj lahko spet naletimo na problem limita “file deskriptorjev”
Gre bolj za pomoč programerjem, saj opažam da nemalokateri razvijalec kliče na pomoč ob prvi napaki.
Odprimo vlogger skripto in spremenimo^[4]:

#!/usr/bin/perl - T v
#!/usr/bin/perl
[...]
        mkdir("$ARGV[0]");
        #print STDERR
        #  "[vlogger] target directory $ARGV[0] does not exist - exiting.\n\n";
        #exit;
[...]

S tem najprej disablom da bi perl preverjal tako imenovane “tainting checks”, ter kreiramo mapo za error.log če ta ne obstaja. Ker se target direktorij za error log preverja takoj ob zagonu Apache-ja, bi se v nasprotnem primeru skripta ustavila in bi se zapisoval samo access.log.

Sedaj samo še dodamo direktivo v Virtual Host konfiguracijo

[...]
<VirtualHost *>
    DocumentRoot "/opt/local/apache2/htdocs/virtualhost"
    ServerName virtualhost
    ErrorLog  "| /usr/sbin/vlogger -e -t \"error.log.%Y-%m-%d\" -s error.log /var/log/apache2/virtualhost"
</VirtualHost>
[...]

Access in Error Log v isti mapi od Virtual Hosta.


Happy blogging(coding)!

1. linux: /etc/apache2/apache2.conf; mac os x: /opt/local/apache2/conf/httpd.conf; freeBSD: /usr/local/etc/apache22/httpd.conf
2. virtualhost.com, virtualhost1.com, …
3. npr: kreiramo mapo /errors v /var/log/apache2
4. v vrsticah 1 in 174

• Apache: 2.0.55
• PHP HP 4.4.2 in 5.1.2
• MySQL 5.0.22

Zadnji moji projekti močno bazirajo na knjižicah Zend Frameworka, ki pa rabijo verzijo PHP-ja vsaj 5.1.4 (priporočljiva je uporaba 5.2.3 naprej). Kar pomeni, da bi se lahko pod nosom obrisal, da bi VPS uporabljal kot platformo za razvoj, z samo predpripravljenimi paketi seveda.

Ostali sta mi dve opciji:

• building in compiling iz nule
• download in usposobitev XAMPP-a^[1]

Predvsem zaradi varnosti in dejstvu, da imam rad vajeti vedno v rokah, sem se odločil, da bom inštaliral veliko trojico iz nule. Pljunil sem v roke, ter zavihal rokave … ./configure, make in make install so bili dva dni moji hardcore spremljevalci. Ker je bil to moj prvi podvig inštalacije apache, mysql in php-ja iz source datotek, je bilo veselje ko je vse skupaj zalaufalo brez napak toliko večje.

Za vse, ki bi kdaj želeli ubosti podoben podvig, pa sem pripravil nekaj skript, da vam bo stvar lažje šla od rok.

How to Build Apache 2.2.8, MySQL 5.0.51, PHP 5.2.5 on Ubuntu Dapper (6.06)

Poglejmo konfiguracijo:

• Apache/2.2.8 mod_ssl/2.2.8 OpenSSL/0.9.7m DAV/2
• MySQL 5.0.51 z SSL podporo
• PHP 5.2.5 v večino dodatkov ki jih rabim pri razvoju: cURL, OpenSSL, PDO MySQL, IMAP, …

Na kakšne večje težave nisem naletel. OpenSSL verzija 0.9.8 se nikakor ni hotela skompajlirat z MySQL-om, tako da sem potem ubodel eno minor verzijo niže. Nekatere skripte (imap, PDO_MySQL) so v configuracijskih datotekah narobe referencirale nekatere knjižice. To se najlažje reši z simboličnim linkanjem na zahtevane knjižice.

Še kratka navodila. Skripte, ki jih najdete v zip-u prebirajte in zaganjajate v tem vrstem redu^[2]:

• preberi apache2-pre-install.txt
• zaženi apache2-download.sh
• zaženi apache2-install.sh
• preberi apache2-post-install.txt
• enako storitze še za mysql ter php

Apache laufa pod svojim userjem, prav tako MySQL. Ne pozabite še nastavit root gesla za MySQL uporabnika. V primeru da se compiler ustavi in ne boste vedeli, kaj je narobe, sem vam na voljo :)

Še vpogled v eno od shell skript – apache2-download.sh

#!/bin/sh

#
# Downloads and unpacks apache2 with dependencies
#
# @author Ales Loncar <ales.loncar@internet-solutions.si>
# @copyright 	Copyright (c) 2008 Internet Solutions
# @license GNU Public License
# @link http://www.internet-solutions.si
# @version 1.0

echo
echo apache2-download.sh
echo - This script downloads and unpacks all prerequisite packages
echo - Run this script before apache2-install.sh
echo
read -p  "(Press any key to continue)" temp;
echo

# Abort on any errors
set -e

#source directory (/usr/local/src)
SRCDIR=/usr/local/src

# Set DISTDIR to somewhere persistent, if you plan to muck around with this
# script and run it several times!
DISTDIR=/usr/local/dist

# Update version information here.
# Zlib
ZLIB="zlib-1.2.3"
# OpenSSL
OPENSSL="openssl-0.9.7m"
# libiconv
LIBICONV="libiconv-1.12"
# apache2
HTTPD="httpd-2.2.8"

cd ${DISTDIR}

# Get all the required packages
echo
echo --- Downloading all required packages ---
echo

# Zlib
wget -c http://www.zlib.net/${ZLIB}.tar.gz
# OpenSSL
wget -c http://www.openssl.org/source/${OPENSSL}.tar.gz
# libiconv
wget -c http://ftp.gnu.org/pub/gnu/libiconv/${LIBICONV}.tar.gz
# apache2
wget -c http://www.apache.si/httpd/${HTTPD}.tar.gz

echo
echo --- Unpacking downloaded archives. This process may take several minutes! ---
echo

cd ${SRCDIR}
# Unpack them all
# Zlib
echo Extracting ${ZLIB}...
tar xzf ${DISTDIR}/${ZLIB}.tar.gz > /dev/null
echo Done.
# OpenSSL
echo Extracting ${OPENSSL}...
tar xzf ${DISTDIR}/${OPENSSL}.tar.gz > /dev/null
echo Done.
# libiconv
echo Extracting ${LIBICONV}...
tar xzf ${DISTDIR}/${LIBICONV}.tar.gz > /dev/null
echo Done.
# apache2
echo Extracting ${HTTPD}...
tar xzf ${DISTDIR}/${HTTPD}.tar.gz > /dev/null
echo Done.

echo --------------------------------------------------
echo -- Done downloading and unpacking prerequisites --
echo --------------------------------------------------

Happy blogging(coding)!

1. Uporabo XAMPP-a odsvetujejo v produksijskem okolju, zaradi prešibke varnosti nekaterih procesov, ki laufajo brez gesel
2. Za zagon shell skript rabite root privilegije. Ne pozabite jim nastavit execute pravic: chmod +x

Kajti ti bo Windows XP Pro saj imamo Windows Visto!
Res je. Navajam le dva argumenta, ki podpirata objavo tega prispevka:

• Windows XP so po uporabi še vedno daleč v ospredju. Samo eden od desetih razvijalcev^[7], ki uporabljajo IIS bo ta članek prezrl ;)
• Za razvoj aplikacij v Visti potrebujemo ultra-super-duper hudo mašino, saj si bo že sam operacijski sistem rezerviral skoraj 3/4 prostega pomnilnika. Pri samem razvoju naletimo na kopico težav. Največ preglavic dela Vistin “ownership”, saj je potrebno za vsako stvar, ki ne lauafa pod IIS IUSR uporabniškim računom^[8] eksplicitno prevzeti lastništvo.

Skrivnost
Kakorkoli obstaja alternativna rešitev, čeprav je rahlo nerodna. Kot sem že prej omenil je možnost kreiranja večih virtualnih serverjev le skrita, ni pa čisto odvzeta. Čeprav ne moremo ustvarit novega virtualnega serverja preko MMC-ja, lahko uporabimo administracijske skripte ki so v standardnem paketu IIS-a^[9]. Virtualni serverji IIS-a so definirani v tako imenovai “IIS metabase” kot številčni vnosi pod W3SVC ključem.^[10]
Da bi ustvarili nov virtualni server, odprite “command window”^[11] in vpišite naslednje:

C:\Inetpub\AdminScripts> adsutil.vbs create_vserv W3SVC/2
C:\Inetpub\AdminScripts> adsutil.vbs copy W3SVC/1 W3SVC/2

Če prvič zaganjate adsutil.vbs vas bo sistem opozoril, da omenjena skripta ne deluje v WScriptu. V naslednjem pogovornem oknu pritisnite Yes in zadeva je rešena.

Prvi ukaz kreira nov virtualni server v IIS metabase

Drugi ukaz prekopira vse potrebne meta podatke iz prizvete spletne strani v novo spletno stran, ter s tem omogoči njeno pravilno delovanje.

S tem ko prekopiramo meta podatke iz stare spletne strani v novo, nova stran podeduje vse atribute stare strani, vključno z imenom. Seveda želimo da nov virtualni strežnik servira novo aplikacijo in s tem moramo poleg imena spremeniti še ostale parametre kot so “root” direktorij, host header ime, …

Let the magic begin
Razvojne spletne aplikacije ponavadi poganjamo na lokalni mašini. Brskalnik moramo prepričat da web stran ne išče po spletu, ampak jo naj naloži iz domačega serverja. To storimo z vnosom “hostname” v datoteko hosts^[12]. Ta datoteka mapira ime hosta na določen IP naslov^[13].

Za naš tutorial v datoteko dodajmo: www.foo-localhost.com in www.bar-localhost.com.

Na disku naredimo še dva direktorija z imenoma hostov za root direktorij posamezne spletne strani.

Odprimo MMC, opazili boste rdečo ikono – križec poleg novega virtualnega strežnika. To je normalno. Pomeni le da je proces inetinfo.exe želel zagnati ta novi virtualni server.


V čem je fora?
“Catch” je v tem, da kljub temu da lahko ustvarimo več virtualnih Web serverjev na eni Windows XP Pro mašini, lahko neankrat zaganjamo le eno, he he. :) Mene osebno to ne moti, saj naenkrat namenim dnevno več ur le enemu projektu, da je čimmanj miselnih preskokov od enega problema do drugega. Vrnimo se našemu tutorialu. Za testiranje virtualnih serverjev bomo v root direktorij^[14] vsake od aplikacije dodali datoteko default.asp z naslednjo vsebino:

<%@ CodePage=65001 Language="VBScript"%>
<% OPTION EXPLICIT %>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">
<head>
	<title><%Response.Write(Request.ServerVariables("server_name"))%></title>
	<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
</head>
<body>
	<div class="container">
		<h2>Some Server ASP Variables</h2>
		<p>
		<b>Your IP address is:</b>
		<%Response.Write(Request.ServerVariables("remote_addr"))%>
		</p>
		<p>
		<b>The server's domain name:</b>
		<%Response.Write(Request.ServerVariables("server_name"))%>
		</p>
		<p>
		<b>The http host name:</b>
		<%Response.Write(Request.ServerVariables("http_host"))%>
		</p>
		<p>
		<b>Application Md path:</b>
		<%Response.Write(Request.ServerVariables("appl_md_path"))%>
		</p>
		<p>
		<b>Application Physical path:</b>
		<%Response.Write(Request.ServerVariables("appl_physical_path"))%>
		</p>
	</div>
</body>
</html>

Ostane nam še, da skonfiguriramo vsakega od virtualnih serverjev. Odprimo MMC, z miško se postavimo na ime enega od virtualnih serverjev in z desno tipko izberemo Properties:

• vpišimo ime virtualnega serverja – Description: Foo
• kliknemo gumb Advanced – Advanced Multiple Web Site Configuration
• dvokliknemo na Default, da se odpre Advanced Web Site Identification – vpišemo Host Header Name: www.foo-localhost.com
• izberemo zavihek Home Directory in nastavimo Local Path – F:\www\www.foo-localhost.com
• preverimo samo še zavihek Documents, če vsebuje med privzetimi dokumenti default.asp

Enako skonfiguriramo še drug virtualno strežnik. Preostane nam le da stestiramo ali vse skupaj “klapa”. Ne pozabimo da naenkrat lahko zaganjamo samo enega od obeh dveh! V MMC-cu ju ugasnemo/prižgemo^[15] ustrezen virtualni strežnik ter v preiskusimo delovanje v brskalniku:

Virtualni server Foo – www.foo-localhost.com

Virtualni server Bar – www.bar-localhost.com

Omeniti velja še, da nezmožnost zaganjanja večih virtualnih serverjev neankrat velja le za IIS 5.1 na Windows XP Pro. Da ne bo kdo dobil zmotnega prepričanja da se isti problem pojavlja pri IIS 6 in Windows Server 2003 ;)
Med preklapljanjem virtualnih serverjev na lokalni mašini, bodite pozorni na izgubo aktivne seje in podatkov trenutno aktivnega virtualnega serverja. Naš glavni namen ostaja isti. Čimbolj približati razvojno okolje produkcijskemu, ter razvoj večih spletnih strani, brez odvečnih skrbi o tem kako bo treba obravnavat absolutne in relativne URL poti v izvorni kodi.

Happy blogging(coding)!

1. upam da mi ni treba na drobo razlagat kaj to je ;)
2. Microsoft Internet Information Services
3. npr. www.podjetje1.com in www.podjetje2.com
4. lahko je tudi enak
5. za prijatelje, kolege in podjetja
6. kot “child path” new->Virtual Directory
7. če zaokrožimo 6% na 10% :)
8. če razvijamo v klasičnemu ASP-ju
9. C:\Inetpub\AdminScripts
10. privzeti “Web site” je poimenovan W3SVC/1, naslednji ustvarjeni bo poimenovan W3SVC/2 itd.
11. Pritisnemo tipko Windows+R, ki odpre Run kamor vtipkamo cmd ter pritisnemo enter.
12. V windowsih jo najdete v C:\WINDOWS\system32\drivers\etc
13. Za localhost je to 127.0.0.1
14. F:\www\www.bar-localhost.com in F:\www\www.foo-localhost.com
15. desna tipka Stop/Run