Para instalar Apache, MySQL y PHP tal cual:

sudo apt-get install mysql-server-5.1 apache2 php5 php5-mysql libapache2-mod-auth-mysql

Si deseamos debugar PHP es necesario instalar Xdebug:

apt-get install php5-xdebug

Por defecto está desactivado el modo debug, para activarlo editar /etc/php5/conf.d/xdebug.ini en modo administrador y añadir

xdebug.remote_enable=on

Captura de pantalla

Si deseamos instalar curl:

sudo apt-get install curl libcurl3 libcurl3-dev php5-curl

Para reiniciar Apache y MySQL:

sudo /etc/init.d/apache2 restart
sudo service mysql restart

Para verificar que todo está bien y ver la configuración de PHP ir a /var/www/ y crear un archivo de nombre info.php con el siguiente contenido:

<?
phpinfo();
?>

Después escribimos http://localhost y debe aparece algo como esto:

Si deseamos que cada usuario tenga su carpeta de para desarrollar al estilo http://localhost/~usuario en este enlace explican cómo configurarlo.

Si utilizamos Netbeans, instalar el plugin de PHP. Ir a Herramientas>Complementos pestaña Complementos Disponibles e instalar el complemento PHP. Ahora ya podemos crear y debugar proyectos PHP desde Netbeans.

Referencias:

http://www.technoblog.com.ar/index.php/2010/05/como-instalar-apachemysqlphp-en-ubuntu-10-04/
http://blogs.oracle.com/netbeansphp/entry/ubuntu_php_netbeans
http://web.asistenciainformatica.org/2010/08/configurar-curl-en-ubuntu.html