X509を定義しているRFC2459ではASN.1という文法表記で記述されているだけです。
具体的にどのようなバイナリ文字列で表すのかなどについては記述がありません。
これをバイナリ符号化する方法にはBER(Basic Encoding Rule)とか
DER(Distinguished Encoding Rules)とかPER(Packed Encoding Rules)
があります。
PEMとはメールを暗号化するために規定されたものです。
PEMにおいては暗号化情報をメールで送るために
これをテキスト形式で表現します。この暗号化情報のテキスト形式の
ことをPEM形式と呼びます.多くの場合、DER形式のX509証明書をこの
PEM形式に変換したものが用いられるようです.
証明書、CSR、および暗号化鍵のいずれも、
base64でエンコードにより作られるこの形式で保存することができます。
このテキスト形式のファイルはHTTPサーバなどでも、
この形式のファイルを使う場合が多いようです。