El return 0 simplemente es la forma de indicarle a quien llamó a tu programa (normalmente el sistema operativo) que su ejecución terminó correctamente. Esta debería ser la última línea que ejecute el main en todos los programas. Si programas en C++ (o en C pero con un compilador moderno) es opcional. Digamos que si no lo haces, el compilador la agrega por ti.

Las otras dos son funciones con las que detienes la ejecución del programa hasta que se presione una tecla. La menos recomendada es getch() ya que se trata de una función que no es parte de C ni de C++. Sólo unos cuantos compiladores la proporcionan.

La system("comando", que sí es estándar de C y C++ lo que hace es ejecutar un comando de tu sistema operativo. En el caso de system("pause", estás invocando el comando "pause" de MS-DOS/la consola de Windows que hace precisamente lo que dice su nombre.