Einen Datensatz vorbereiten

Falls Sie dies noch nicht getan haben, bereiten Sie einen detaillierten Datensatz der Websites vor, von denen Sie Informationen sammeln möchten. Dieser Datensatz sollte URL-Domainnamen der Websites und relevante Subdomainnamen enthalten. In diesem Abschnitt wird ein step-by-step Verfahren zum Erstellen dieses Datensatzes beschrieben.

Um einen Datensatz vorzubereiten

1. Definieren Sie den Umfang — Bestimmen Sie die Branche oder Sektoren, auf die Sie sich konzentrieren. Entscheiden Sie, wie viele Unternehmen Sie einbeziehen möchten. Und definieren Sie alle Kriterien, die Sie über diese Unternehmen erheben möchten, z. B. die Anzahl der Mitarbeiter, den Standort oder den Umsatz.

2. Identifizieren Sie Datenquellen — Identifizieren Sie, welche Informationsquellen Sie verwenden können, um Informationen über diese Unternehmen zu sammeln. Beispiele hierfür sind Unternehmensverzeichnisse (wie Crunchbase, Bloomberg oder Forbes), Börsen (wie NYSE und NASDAQ), branchenspezifische Verbände oder Veröffentlichungen oder Regierungsdatenbanken (wie SEC-Unterlagen).

3. Erstellen Sie eine Tabelle — Erstellen Sie in Ihrem bevorzugten Tool wie Microsoft Excel, Google Sheets oder einem Datenbankverwaltungssystem eine Tabelle zum Sammeln von Kriterien für jedes Unternehmen. Fügen Sie für jedes Kriterium eine Spalte hinzu. Fügen Sie mindestens Spalten für den Firmennamen, die Hauptdomain, die Subdomänen, die Branche, die Größe und den Standort hinzu.

4. Erste Unternehmensinformationen sammeln — Sammeln Sie die folgenden Informationen zu jedem Unternehmen und geben Sie sie in die von Ihnen erstellte Tabelle ein:

   • Unternehmensname

   • Branche oder Sektor

   • Unternehmensgröße (Anzahl der Mitarbeiter)

   • Revenue (Umsatz)

   • Standort des Firmensitzes

5. Domaininformationen sammeln — Extrahieren Sie für jedes Unternehmen den primären Domainnamen aus der URL der Haupt-Website, z. example.com B. Sie können die Domaininformationen mithilfe eines WHOIS-Domain-Suchtools überprüfen.

6. Sammeln Sie Subdomain-Informationen — Recherchieren Sie für jedes Unternehmen nach den registrierten Subdomains, wie z. blog.example.com Sie können Tools zur Subdomain-Aufzählung wie Sublist3R, OWASP Amass oder Subfinder verwenden. Sie können Google-Dorking (durch Suchensite:example.com) durchführen, DNS-Einträge mithilfe eines dig Befehls oder eines DNS-Suchtools überprüfen oder SSL- oder TLS-Zertifikate analysieren.

7. Daten validieren und bereinigen — Überprüfe, verifiziere und standardisiere die Daten, die du gesammelt hast. Entfernen Sie beispielsweise alle doppelten Einträge, entfernen Sie unnötige URL-Informationen aus Domains und Subdomains und stellen Sie sicher, dass alle Domains und Subdomains aktiv sind.

8. (Optional) Kategorisieren Sie die Subdomains — Sie können die Subdomains in Typen einteilen. Im Folgenden finden Sie einige Beispiele für Kategorien, auf die Sie stoßen könnten:

   • Blogs, wie blog.example.com

   • Support oder Hilfe, wie support.example.com oder help.example.com

   • E-Commerce, wie shop.example.com oder store.example.com

   • Ressourcen für Entwickler, wie dev.example.com oder api.example.com

   • Regionen oder Standorte, wie us.example.com oder uk.example.com

9. (Optional) Fügen Sie relevante Metadaten hinzu — Sie können alle relevanten Metadaten im Datensatz aufzeichnen. Sie können beispielsweise das Datum der letzten Aktualisierung, die Informationsquelle oder Ihren Vertrauenswert für die Genauigkeit der Subdomain hinzufügen.

10. Versionskontrolle implementieren — Verwenden Sie ein Versionskontrollsystem wie Git, um Änderungen an der Tabelle im Laufe der Zeit nachzuverfolgen. Erstellen Sie regelmäßig eine Sicherungskopie des Datensatzes.

11. Tabelle verwalten — Richten Sie einen Zeitplan für die Aktualisierung der Tabelle ein, z. B. vierteljährlich. Standardisieren und implementieren Sie einen Prozess zum Hinzufügen neuer Unternehmen oder zum Entfernen von Unternehmen, die Sie nicht mehr benötigen. Automatisieren Sie nach Möglichkeit die Erkennung von Subdomains.