IS-D05 · Civilizational Intelligence

Evidence, Sources and Critical Appraisal

A conclusion is only as strong as the weakest source holding it up. Critical appraisal is the discipline of finding that weak point before your reader — or your adversary — does.

Learning objectives

• Distinguish the main classes of evidence and what each can and cannot support.
• Appraise a source on reliability and credibility as separate questions.
• Detect circular sourcing, measurement drift and survivorship effects.
• Record and cite evidence to a standard another analyst could reconstruct.

What counts as evidence

• Primary: a record produced by a participant or instrument at the time.
• Secondary: later interpretation built on primary material.
• Testimonial: what a person reports — powerful but shaped by memory and interest.
• Material and quantitative: objects and figures, only as good as their provenance.

Appraising a source — four separate questions

1. Who made it, and with what access?
2. Why was it made — what interest does it serve?
3. When, relative to the events described?
4. Is it independent, or does it merely echo another source?

How evidence goes wrong

• Circular sourcing: three reports that all trace back to one, counted as three.
• Measurement drift: a definition quietly changes, so trends are artefacts of counting.
• Survivorship: we study what remains and forget what was destroyed or never recorded.

Recording and citing

Triangulate before you trust: seek at least two independent lines pointing the same way. Then cite what you actually used, precisely enough that another analyst could retrace your path and reach the same evidence.

Check your understanding

• Q1. Why are reliability and credibility appraised separately?
• Q2. What is circular sourcing, and why does it inflate confidence?
• Q3. Give one example of a survivorship effect in historical evidence.

Bukti, Sumber, dan Penilaian Kritis

Sebuah kesimpulan hanya sekuat sumber terlemah yang menopangnya. Penilaian kritis adalah disiplin menemukan titik lemah itu sebelum pembaca Anda — atau lawan Anda — menemukannya.

Tujuan Pembelajaran

• Membedakan kelas-kelas utama bukti dan apa yang dapat dan tak dapat ditopang masing-masing.
• Menilai sumber pada keandalan dan kredibilitas sebagai dua pertanyaan terpisah.
• Mendeteksi perujukan melingkar, pergeseran pengukuran, dan efek survivorship.
• Merekam dan menyitir bukti pada standar yang dapat direkonstruksi analis lain.

Apa yang dihitung sebagai bukti

• Primer: catatan yang dihasilkan pelaku atau instrumen pada waktu kejadian.
• Sekunder: tafsiran belakangan yang dibangun di atas bahan primer.
• Kesaksian: apa yang dilaporkan seseorang — kuat namun dibentuk ingatan dan kepentingan.
• Material dan kuantitatif: benda dan angka, sebaik provenansinya saja.

Menilai sumber — empat pertanyaan terpisah

1. Siapa membuatnya, dengan akses seperti apa?
2. Mengapa dibuat — kepentingan apa yang dilayaninya?
3. Kapan, relatif terhadap peristiwa yang digambarkan?
4. Apakah mandiri, atau sekadar menggemakan sumber lain?

Bagaimana bukti menjadi keliru

• Perujukan melingkar: tiga laporan yang semuanya berpangkal pada satu, dihitung sebagai tiga.
• Pergeseran pengukuran: definisi berubah diam-diam, sehingga tren hanyalah artefak cara menghitung.
• Survivorship: kita mengkaji yang tersisa dan melupakan yang musnah atau tak pernah tercatat.

Merekam dan menyitir

Triangulasikan sebelum percaya: cari sedikitnya dua garis mandiri yang menunjuk arah sama. Lalu sitir apa yang benar-benar Anda pakai, cukup tepat agar analis lain dapat menapaki ulang jalan Anda dan mencapai bukti yang sama.

Uji pemahaman

• P1. Mengapa keandalan dan kredibilitas dinilai terpisah?
• P2. Apa itu perujukan melingkar, dan mengapa ia menggelembungkan keyakinan?
• P3. Berikan satu contoh efek survivorship dalam bukti sejarah.