Con el código fuente:

La mayoría de los programas en el mundo gnu no vienen compilados, si no que, solo te descargas la fuentes y eres tu el que tiene que compilarlo, las ventajas de este sistema son la total compatibilidad (un binario de un sistema puede no funcionar en otro, pero el código fuente compilado en el propio sistema siempre funcionara), la disponibilidad del código a la hora de ser cambiado y el menor tamaño de los archivos.

Nos descargamos el programa y lo descomprimimos:

$ tar -xvzpf *.tar.gz / *.tgz
$ tar -xvjpf *.tar.bz2 / *.tbz
$ bunzip2 *.bz2
$ gunzip *.gz

Con esto nos creara una carpeta con el mismo nombre que el archivo (sin la extensión) nos metemos en ella y ejecutamos el archivo 'configure', si la ejecución de este archivo termina con un error debemos solucionarlo antes de seguir (casi siempre se trata de alguna librería que falta). Después de esto, con los permisos del root, ejecutamos 'make' y cuando termine 'make install'.
Aquí muestro un pequeño ejemplo de como instalar un programa:

$ tar -zvpfx programa.tar.gz
$ cd programa
$ ./configure
...
# make
...
# make install
...

Esto anterior es valido para todas las distribuciones de Linux y para gran parte de los sistemas tipo UNIX.

están otros programas con la extensión '.bin', a estos hay que darles permiso de ejecución: 'chmod +x *.bin' y ejecutarlo './*.bin'.