Wie lautet bei Dir in docs/Makefile die Regel für install-dist_docDATA? Sie sollte sinngemäß so aussehen: test -z "$(docdir)" || $(MKDIR_P) "$(DESTDIR)$(docdir)"
Ich habe den Eindruck, dass checkinstall die Variable $(DESTDIR) nicht setzt, die aber genau dafür gedacht ist, das zu erreichen, was Du vorhast.
Wenn Du die Dokumentation nicht brauchst, kannst Du sie übrigens auch einfach entfernen ... Ersetze im obersten Verzeichnis in der Datei "Makefile.am" die Zeile "SUBDIRS += docs src unittests" durch "SUBDIRS += src unittests" und führe "./autogen.sh" aus.