Der Ubuntu-Installer ist an der Stelle irreführend, denn deine CPU hat PAE-Unterstützung. Die Prüfung kannst du dadurch umgehen, dass du dem Kernel den Parameter
forcepae mitgibst.
Wie das zu bewerkstelligen ist wird hier [1] beschrieben.
Alternativ zu Ubuntu könntest du auch Xubuntu [2] oder Lubuntu [3] installieren, wenn du unter Canonicals Schirmherrschaft bleiben willst.
Jede andere Distribution sollte aber auch funktionieren und deine Anwendungsfälle abdecken, wobei ich persönlich von Gnome und KDE auf der Hardware Abstand nehmen würde.
Eine gute Übersicht über verschiedene Distributionen bietet Distrowatch [4]. Es lohnt sich dort mal zu stöbern und verschiedene Kandidaten auszuprobieren die dir interessant erscheinen.
Grundsätzlich solltest du immer die aktuell vom jeweiligen Distributor empfohlene Version benutzen. Es kann Gründe geben von dieser Richtlinie abzuweichen, aber das ist nur in Spezialfällen sinnvoll.
[1]
https://help.ubuntu.com/community/PAE[2]
http://xubuntu.org/[3]
http://lubuntu.net/[4]
http://distrowatch.com/