Český Seznam si vyvinul vlastný replikovaný súborový systém

DSL.sk, 15.5.2008

Český vyhľadávač Seznam, ktorý je najpopulárnejším vyhľadávačom v Česku ako v jednej z mála krajín, kde nedominuje Google, informoval tento týždeň o zaujímavej vývojárskej iniciatíve, keď si vyvinul a sprístupnil ako open-source vlastný replikovaný súborový systém.

Súborový systém nesie označenie SeznamFS, je určený pre Linux a postavený je na FUSE. Vydaný je pod licenciou GPL. V Sezname ho zatiaľ používajú na menej významné projekty ako napríklad replikáciu obrázkov a videí na niektorých obsahových weboch.

SeznamFS funguje principiálne rovnako ako replikácia u MySQL. Master zapisuje všetky uskutočnené operácie so súbormi a samozrejme nové zapísané dáta do binárneho logu, ktorý si čítajú cez TCP pripojené slave počítače.

Jeden počítač môže pracovať zároveň ako master aj slave a viacero počítačov tak môže byť navzájom synchronizovaných.

V binárnom logu sú uložené parametre a dáta, ktoré sú argumentami pri volaní jednotlivých funkcií manipulujúcich so súbormi a súborovým systémom.

SeznamFS funguje ako filter odchytávajúci operácie so súbormi, dáta reálne ukladá do nastaveného adresára bežného súborového systému.

Podľa zverejnených testov je samozrejme SeznamFS výrazne pomalší ako Ext3, maximálne oneskorenie vykonávania operácií na slave systéme medzi dvomi systémami na LAN sa pohybuje podľa objemu a typu dát od niekoľkých sekúnd do niekoľkých desiatok sekúnd.

Domovskou stránkou projektu je seznamfs.sourceforge.net, Seznam o vyvinutom súborovom systéme informoval tu.


Najnovšie články:



Diskusia:

seznamfs Od reg.: Marki555 | Pridané: 15.5.2008 13:00 Hmm no hej, ale to ma hned rovnake problemy ako master-slave v pripade MySQL a preto sa malokedy pouziva. Lebo stale je tam SPOF - ked master padne, tak max. mozme zo slave citat (neviem ako v pripade seznamFS - ze ci pristupuje aplikacie maju aj IP slave serverov). Cize treba zlozito zaistovat prepnutie slave na noveho mastra a pod. preto sa aj v pripade MySQL pouziva tzv. master-master replikacia. Ovela uzitocnejsie ako replikovane su clustrove filesystemy ako ma napr. google. Tam je vela serverov s diskami a kazdy subor je ulozeny na X z nich (podla toho nakolko je dolezity a ako casto je k nemu pristupovane). Odpovedať Známka: 7.5 Hodnotiť:

Re: seznamfs Od reg.: Redakcia DSL.sk | Pridané: 15.5.2008 13:16 Toto riešenie umožňuje principiálne presne rovnaké riešenie aké sa používa na dosiahnutie master - master u MySQL bez použitia Cluster edície. Teda napr. u dvoch serverov je A slave serverom pripájajúcim sa k master serveru B a zároveň B je slave serverom pripájajúcim sa k master serveru A. Odpovedať Známka: 3.8 Hodnotiť:

Pridať komentár