Leccion aprendida instalar sphinx en ubuntu

Hola, escribo esto no solo paraque otros no caigan en el mismo error, si no que tambien para que yo no vuelva a cometerlo.

Instalar sphinx search en ubuntu puede ser tan facil como escribir;
sudo apt-get install sphinxsearch

Pero si queremos usar sphinx con el stemmer haciendo mas potentes nuestras busquedas el camino es cuesta arriba…

1) descarga y extrae la version estable de sphinx;
wget http://sphinxsearch.com/files/sphinx-0.9.9.tar.gz
tar xzf sphinx-0.9.9.tar.gz


2) instalemos las porqueris para usar mysql
sudo apt-get update
sudo apt-get dist-upgrade
sudo apt-get install build-essential
sudo apt-get install libmysqlclient15-dev


3) instalemos el stemmer
cd sphinx-0.9.9/
wget http://snowball.tartarus.org/dist/libstemmer_c.tgz
tar xzf libstemmer_c.tgz

4) instalemos todo, como veran yo lo instale en /usr/local/sphinx ustedes pueden instalarlo donde se les cante
./configure --prefix=/var/sphinx --with-libstemmer --with-mysql-includes=/usr/include/mysql --with-mysql-libs=/usr/lib/mysql
make
sudo make install

Luego tienen que crear el archivo de configuracion de sphinx y todo lo demas que ya deberian saber hacer.

Creando los indice.
/path/instalacion/indexer –all -c /path/de/configuracion/sphinx.conf

Luego tenes que cargar el demonio
/path/instalacion/searchd /path/de/configuracion/sphinx.conf

OJO! yo como un boludo en vez de searchd puse search, que es el binario para realizar busquedas, constantemente me tiraba error y pense que me habia mandado una cagada con el archivo de configuracion.

Bueno ahi lo tienen, facil no?

crea un sistema de frases para facebook

Hola, antes que nada lamento no escribir tan seguido…

He pasado un fin de semana en casa aburrido y se me ocurrio crear uno de esos populares sistemitas para poner frases en tu facebook, pueden descargarlo desde aqui;

http://www.mediafire.com/?ctjst16e221y53x

Pruebenlo y despues me cuentan!

adios gastromap… hola ladralo.com

Luego de algun tiempo he decidido desistir con gastromap.com.ar , menos de 5 visitas diarias y un consumo altisimo de recusos de cpu no son viables…

Hola ladralo.com, usando al script monkylinks !!!

😀

sql: joins vs multiple selects

Pese a que el saber popular dice que hacer un select multiple*(1) versus un select con joins*(2) es mas lento.

*(1) SELECT link_id,sum(vote_value) FROM links,votes WHERE link_id=vote_link_id AND vote_type=’links’ AND vote_value>0 AND link_date > DATE_SUB(NOW(), INTERVAL 1 year) GROUP BY link_id
*(2) SELECT link_id,sum(vote_value) FROM links INNER JOIN votes ON (link_id=vote_link_id AND vote_type=’links’ AND vote_value>0) WHERE link_date > DATE_SUB(NOW(), INTERVAL 1 year) GROUP BY link_id

Para sacarme la duda cree una script que crea usuarios, enlaces, comentarios y votos (positivos y negativos) en meneame.

Luego tome las diferentes queries que usaban multiples tablas para el calculo del karma (el archivo /scripts/karma9.php) y las compare con las joins, en todas las consultas agregue el prefijo SQL_NO_CACHE

El resultado final contra todo lo que esperaba fue no concluyente…
Seletcs multiples total took: 587
Selects joins total took: 600

Como no me gusta rendirme facilmente elimine todos los indices y corri de nuevo los test. Obteniendo el siguiente resultado;
Seletcs multiples total took: 118023
Selects joins total took: 117221

A tener en cuenta, las consultas siempre fueron hechas entre dos tablas, si fueran de mas tablas segun la documentacion de sql: nested joins

Conclusion
Como conclusion podemos afirmar que los indices vamos a lograr consultas muy rapidas, pero esto se paga, los inserts, deletes y updates de una campo indice van a ser mas lentos, debido a que los indices deben ser regenerados. Tambien se paga con espacio ya que los indices ocupan memoria.

cakephp y los campos de tipo enum

Actualmente como sabran cakephp no soporta los campos del tipo enum, por que al importar los fixtures en los tests podemos encontrarnos con algunos problemas.

Cree un simple patch para que transforme el enum a un campo de texto, voy abrir un ticket a ver si lo pueden agregar al datasources dbo.

Mientras tanto si alguno de tus modelos usa campos enum puedes agregar lo siguiente en el fixture;

class ModelnameFixture extends CakeTestFixture {
	function create(&$db) {
		// enum support in test fixture, by Eugenio Fage
		foreach ($this->fields as $field) {
			if(substr($field['type'],0,4)=='enum') $db->columns[$field['type']] = $db->columns['string'];
		}

		return parent::create($db);
	}
}

Saludos!

megusta / fblike script

EL REPOSITORIO HA SIDO CAMBIADO, PUEDES DESCARGAR LA NUEVA VERSION DESDE AQUI http://www.mediafire.com/?ctjst16e221y53x

Desarrolle una pequeña script para script para crear frases en facebook, pueden descargarla desde;
http://code.google.com/p/fblike/

Pueden ver una pequeña demostracion aqui

Que es?

Fblike es una simple script para que los usuarios de facebook puedan crear frases y compartirlas con sus amigos. Puedes ver una demo del sistema en;

• http://frases.larompe.com.ar
• http://apps.facebook.com/frasesfan/

Inspiracion¶

fblike fue inspirado en base a estos sitios;

• http://www.facebookmegusta.com/
• http://megusta.megustaelfb.com/
• http://www.fblike.com/
• http://fblike.net/
• http://www.frasesfacebook.net/

Como instalar fblike

1. crea la base de datos y la tabla, las sentencias sql para crear las tablas se encuentran en base.sql
2. configura los datos para conectarte a la base de datos en app/config/database.php
3. crea una aplicacion en facebook http://developers.facebook.com/setup/
   • ingresa a la configuracion de la aplicacion que recien creaste
   • ve a la pestaña que dice Facebook integration
   • elige una direccion dentro de facebook (opcion Página de trabajo)
   • en canvas URL escribe direccion_donde_esta_fblike/fbapp
   • en canvas type seleccion iframe
4. configura los datos para usar la facebook app en app/config/fb-config.php
5. una vez que la probaste y funciona no olvides ponerlo en modo de produccion, para ello vea a app/config/core.php busca Configure::write(‘debug’, 3); y cambialo por Configure::write(‘debug’, 0);

DESCARGAR

http://code.google.com/p/fblike/downloads/detail?name=fblike.zip

cacheando queries de forma facil

Idea original tomada de: http://www.endyourif.com/caching-queries-in-cakephp/

Una optimizacion comun es cachear queries… navegando por ahi me encontre con un articulo donde simplemente reescriben el metodo find de los modelos para cachear las queries, lo modifique un poquito y asi quedo;

app_model.php

class AppModel extends Model {
	/**
	 * 
	 * Cache find queries
	 */ 
    function find($conditions = null, $fields = array(), $order = null, $recursive = null) {
    	if (!empty($fields['cacheKey'])) {
    		$cacheConfig = 'query';
			if (!empty($fields['cacheConfig'])){
      			$cacheConfig = $fields['cacheConfig'];
    		}
    		
    		$cacheName = $this->name . '-' . $fields['cacheKey'];
			
    		if (($data = Cache::read($cacheName, $cacheConfig)) === false) {
				$data = parent::find($conditions, $fields, $order, $recursive);
				Cache::write($cacheName, $data, $cacheConfig);
			}
    	}else{
    		$data = parent::find($conditions, $fields, $order, $recursive);
    	}
    	
    	return $data;
    }
}

Como veran por defecto usa la configuracion de cache llamada ‘query’, asi que vamos a tener que agregar esto en;

config/core.php

Cache::config('query', array(
 'engine' => 'File',
 'duration'=> '+20 minutes',
 'probability'=> 100,
 'path' => CACHE . 'queries' . DS,
 ));

Ademas tendremos que crear en el directorio de cache el directorio queries, alli se salvaran todas las queries, si en vez de usar el file engine podemos cambiarlo por memcache tocando la configuracion (lo que recien escribimos en core.php).

USO

Cuando queremos cachear un find solo agregamos lo siguiente al array options;

$this->Modelo->find('all',array('cacheKey'=>'llave','conditions'=>2));
$this->Modelo->find('all',array('cacheKey'=>'llave','cacheConfig'=>'memcached','conditions'=>2));

PAZ!

Analisis de codigo PHP

Hoy navegando me tope con algunas herramientas interesantes para analizar codigo.

Codigo duplicado

La primer herramienta con la que me tope es phpcpd, basicamente busca codigo duplicado, por ejemplo:

test.php

<?
class Test{
  function suma1($x,$y){ return $x+$y; }
  function suma2($a,$b){ return $a + $b; }
  function suma3($a,$b){ return $b+$a; }
}
function suma1($x,$y){ return $x+$y; }
function suma2($a,$b){ return $a + $b; }
function suma3($a,$b){ return $b+$a; }

eugenio@eugenio-desktop:/var/www$ phpcpd test.php
phpcpd 1.3.1 by Sebastian Bergmann.
0.00% duplicated lines out of 9 total lines of code.

WTF??? al parecer no es muy inteligente, para que funcione el codigo debe ser un copy & paste exacto de el codigo.

eugenio@eugenio-desktop:/var/www$ phpcpd ./wordpress/
phpcpd 1.3.1 by Sebastian Bergmann.
Found 27 exact clones with 472 duplicated lines in 7 files:
 - wp-includes/class-simplepie.php:2512-2520
 wp-includes/class-simplepie.php:3414-3422
...
 - wp-content/plugins/akismet/akismet.php:837-851
 wp-content/plugins/akismet/akismet.php:904-918
0.30% duplicated lines out of 157906 total lines of code.

A partir de esta herramienta encontre otras un poco mas complejas y inteligentes;

phpcs, pdepend y phpmd

phpcs

PHP_CodeSniffer es una script PHP5 que «sniffea» archivos PHP, JavaScript y CSS para detectar violaciones de un standard de codigo definido.

Esta herramienta nos indicara cuando no se siga el standard definido, dentro de la documentacion de phpcs en pear nos indican como hacer para definir un standard propio para cambiar el que viene por defecto.

Muestra de uso;

eugenio@eugenio-desktop:/var/www$ phpcs  ./test.php
FILE: /var/www/test.php
--------------------------------------------------------------------------------
FOUND 25 ERROR(S) AND 0 WARNING(S) AFFECTING 8 LINE(S)
--------------------------------------------------------------------------------
 1 | ERROR | Short PHP opening tag used. Found "<?" Expected "<?php".
 1 | ERROR | Missing file doc comment
 2 | ERROR | Missing class doc comment
 2 | ERROR | Opening brace of a class must be on the line after the definition
 3 | ERROR | Line indented incorrectly; expected 4 spaces, found 2
 3 | ERROR | Missing function doc comment
 3 | ERROR | Opening brace should be on a new line
 3 | ERROR | Closing brace must be on a line by itself
 4 | ERROR | Line indented incorrectly; expected 4 spaces, found 2
 4 | ERROR | Missing function doc comment
 4 | ERROR | Opening brace should be on a new line
 4 | ERROR | Closing brace must be on a line by itself
 5 | ERROR | Line indented incorrectly; expected 4 spaces, found 2
 5 | ERROR | Missing function doc comment
 5 | ERROR | Opening brace should be on a new line
 5 | ERROR | Closing brace must be on a line by itself
 7 | ERROR | Missing function doc comment
 7 | ERROR | Opening brace should be on a new line
 7 | ERROR | Closing brace must be on a line by itself
 8 | ERROR | Missing function doc comment
 8 | ERROR | Opening brace should be on a new line
 8 | ERROR | Closing brace must be on a line by itself
 9 | ERROR | Missing function doc comment
 9 | ERROR | Opening brace should be on a new line
 9 | ERROR | Closing brace must be on a line by itself
-----------------------------------------------------------------

Como veran se queja demasiado… es muy conveniente crear un standard propio.

pdepend

Pdepend realizara un informe sobre la metrica del software, analizara la complejidad de las funciones.

Metrica de software que analizara;
Cyclomatic Complexity
NPath Complexity
CodeRank
Lines Of Code

Y finalmente el que creo mas interesante phpmd

What PHPMD does is: It takes a given PHP source code base and look for several potential problems within that source. These problems can be things like:

• Possible bugs
• Suboptimal code
• Overcomplicated expressions
• Unused parameters, methods, properties

eugenio@eugenio-desktop:/var/www$ phpmd test.php text codesize,unusedcode,naming,naming
/var/www/test.php:12    Avoid variables with short names like $x
/var/www/test.php:12    Avoid variables with short names like $y
/var/www/test.php:12    Avoid variables with short names like $x
...
/var/www/test.php:31    Avoid variables with short names like $a
/var/www/test.php:31    Avoid variables with short names like $b
/var/www/test.php:31    Avoid variables with short names like $a
/var/www/test.php:31    Avoid variables with short names like $b

Analizemos el codigo de worpress…

eugenio@eugenio-desktop:/var/www$ time phpmd ./wordpress text codesize,unusedcode,naming,design>wordpress.doc
real	4m1.382s
user	3m56.543s
sys	0m2.624s

Descargar el informe de analisis al wordpress 3.0.1

eugenio@eugenio-desktop:/var/www$ time phpmd ./meneame4/ text codesize,unusedcode,naming,design>meneame.doc
real    0m42.966s
user    0m39.526s
sys    0m1.064s

Descargar el informe de analisis al meneame v4

Conclusion

De todas las herramientas que probe definitivamente me quedo con phpmd, esta herramienta nos alertara de cualquier codesmell de manera efectiva

Monky, un pantallazo

Hola, hace cuanto que no escribo… estoy algo atareado construyendo a monky, un agregador de noticias open source que funciona bajo el framework cakePHP, comenzo siendo algo asi como un refactor de meneame, ahora si bien tomo algunas ideas de lo que escribio Ricardo Galli, podria decirse que no es meneame.

Les dejo un pantallazo para que vean como va el trabajo.

http://code.google.com/p/monky/

Saludos

Lograr que cakephp soporte subdominios

Hola a todos, por si algunos no lo sabian cakePHP no es muy bueno a la hora de manejar urls con subdominio, en este post voy a escribir sobre como hacer posible manejar subdominios haciendo la menor cantidad de modificaciones posibles.

Basicamente la idea es que pase el subdominio por el named parameter subdomain. Todo esto sin tocar el .htaccess

Para esta solucion necesitamos poner unas pocas lineas en el config/bootstrap.php , otras en el config/routes.php (ya que hay que agregar el domain a las rutas), luego agregamos una constante en webroot/index.php y finalmente usar un nuevo htmlhelper para hacer links correctamente que por supuesto extiende de htmlhelper

Primero:

En el archivo config/bootstrap.php agrega al final:
(Recuerda cambiar test.domain.com por el nombre de tu dominio ejemplo: miweb.com tambien puedes usar un subdominio, es importante que siempre lo escribas en minusculas)

// sub domain in lower
define('MYDOMAIN','test.larompe.com.ar');


if(!isset($_GET['url']))$_GET['url']='';


$token=parse_url($_SERVER['SERVER_NAME']);
if((($pos=strpos($token['path'],MYDOMAIN))>0)){
$subdomain=strtolower(substr($token['path'],0,$pos-1));
}else{
$subdomain='www'
}
$_GET['url']=$subdomain.'/'.$_GET['url'];

Segundo

Vas a tener que modificar las rutas de tu aplicacion, estas se encuentran en config/routes.php

Ejemplo;

La ruta;
Router::connect(‘/’, array(‘controller’ => ‘pages’, ‘action’ => ‘display’, ‘home’));

Pasa a llamarse;
Router::connect(‘/:subdomain/’, array(‘controller’ => ‘pages’, ‘action’ => ‘display’, ‘home’),array(‘subdomain’));

Finalmente tenemos que atrapar los /controller /controller/action;
Router::connect(‘/:subdomain/:controller/:action/*’, array(‘subdomain’));
Router::connect(‘/:subdomain/:controller/*’, array(‘subdomain’));

Recuerda que por defecto si el subdominio no esta seteado pone www, osea que las rutas para la aplicacion principal es;
Router::connect(‘/www/users/*’, array(‘controller’=>’users’,’action’=>’index’));

Tercero

Agregar la siguiente linea al principio de webroot/index.php

define(‘WEBROOT_DIR’, ‘/’);

Cuarto

Crea el helper HtmlSubdomain, para ello crea el archivo views/helpers/html_subdomain.php


<?php
class HtmlSubdomainHelper extends HtmlHelper{
function link($title, $url = null, $options = array(), $confirmMessage = false) {
$escapeTitle = true;
if ($url !== null) {
$url = $this->url($url);
}
return parent::link($title,$url,$options,$confirmMessage);
}
function url($url=null,$full=false){
if(is_array($url)){
if(!isset($url['subdomain'])) $url['subdomain'] = 'www';
$subdomain=$url['subdomain'];
$url=parent::url($url);
$pos=strpos($url,'/'.$subdomain.'/')+strlen('/'.$subdomain);
$url=substr($url,$pos);
return 'http://'.$subdomain.'.'.MYDOMAIN.$url;
}
return parent::url($url,$full);
}
}

Por ultimo

Debes recordar agregar el Helper HtmlSubdomain para crear los links en tu vista, ejemplo;

echo $this->HtmlSubdomain->link(‘hola’,array(‘controller’=>’pages’,’view’=>’display’,’home’,’subdomain’=>’subdom1′);