\documentclass{book}
\usepackage[ngerman]{babel}
\usepackage{amsmath}
\numberwithin{equation}{section}
\makeatletter
% \CN@chapnum enthaelt als Argument die Kapitelnummer
% und wird erst in Zaehlern unterhalb der Kapitelebene
% eingesetzt. Dort sollen die Kapitelnummer standardmaessig
% unterdrueckt werden.
%   Erstes Argument ist die Kapitelnummer, das zweite
% das Trennzeichen.
\newcommand*{\CN@chapnum}[2]{}

% Der \ref-Befehl wird nun umdefiniert, so dass waehrend
% seiner Ausfuehrung \CN@chapnum auf \CN@do@chapnum
% umgebogen wird, dass die Kapitelnummer im Argument
% mit der aktuellen Kapitelnummer vergleicht und
% gegebenenfalls unterdrueckt.
\newcommand*{\CN@org@ref}{}
\let\CN@org@ref\ref

\renewcommand*{\ref}[1]{%
  \begingroup
    \let\CN@chapnum\CN@do@chapnum
    \CN@org@ref{#1}%
  \endgroup
}

% #1: Kapitelnummer
% #2: Trennzeichen
\newcommand*{\CN@do@chapnum}[2]{%
  \edef\x{#1}%
  \edef\y{\thechapter}%
  \ifx\x\y
  \else
    #1#2%
  \fi
}

% Nun definieren wir uns die Zaehler, wie wir sie brauchen.
\renewcommand*{\thechapter}{\Roman{chapter}}
\renewcommand*{\thesection}{%
  \protect\CN@chapnum{\thechapter}{.}\arabic{section}%
}
\makeatother






%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%
\newtheorem{Satz}{Satz}[subsection]
\begin{document}
\chapter{Analysis}
  \section{Grundlagen}\label{A}
    \subsection{Mengenlehre}
\ref{SatzA} bezieht sich auf  I.1.2.1;\\
\ref{SatzB} bezieht sich auf  II.1.1.1;\\
\ref{Abbildungen} bezieht sich auf  I.1.2;\\
\ref{Gruppen} bezieht sich auf  II.1.1;\\
\ref{A} bezieht sich auf  I.1;\\
\ref{B} bezieht sich auf  II.1.
    \subsection{Abbildungen}\label{Abbildungen}
Jetzt mal ein Satz:
        \begin{Satz}\label{SatzA}
        Ich bin I.1.2.1.
        \end{Satz}
  \section{Funktionen}  
    \subsection{Stetigkeit}
    \subsection{Grenzwerte}
\chapter{Algebra} 
  \section{Grundstrukturen}\label{B}
    \subsection{Gruppen}\label{Gruppen}
Jetzt mal ein Satz:
         \begin{Satz}\label{SatzB}
         Ich bin II.1.1.1.
         \end{Satz}
\subsection{Schl"usseltest}
\ref{SatzA} bezieht sich auf  I.1.2.1;\\
\ref{SatzB} bezieht sich auf  II.1.1.1;\\
\ref{Abbildungen} bezieht sich auf  I.1.2;\\
\ref{Gruppen} bezieht sich auf  II.1.1;\\
\ref{A} bezieht sich auf  I.1;\\
\ref{B} bezieht sich auf  II.1.
\end{document}