לוח בקרה

מזהה	דוא"ל	תפקיד	מכסת העלאות	ברירת מחדל	נוצר	אישור תנאים	פעולות

ניהול תחומים

מסמכים ללא תחום

	שם קובץ	תגיות	תאריך

שם	תיאור	אייקון	צבע	מסמכים	סטטוס	פעולות

כללי ניתוח

ניהול שדות מערכת

	מפתח טכני	שם תצוגה	נצפה לראשונה	מסמכים	פעולות

מאגר חוקים

מזהה	שם החוק	כינויים / שמות נפוצים	מסמכים	נוצר	פעולות

מאגר סעיפים

מזהה	חוק	מספר סעיף	שם הסעיף / עבירה	כינויים	פעולות

איחוד ערכים

אחד ערכים דומים בשדה אחד לערך קנוני אחד. ההתאמה חלה גם על חיפוש וגם על תצוגת גרפים.

בחר שדה

ערכים קיימים

	ערך	מסמכים

טיוב נתונים

מיפוי מבנה הנתונים לפי תחום. לחץ/י "מפה מחדש" כדי לסרוק את כל המסמכים בתחום ולבנות מפת שדות.

תחום

שם שדה	סוג	התנהגות	כיסוי	ערכים	ערכים נפוצים	טווח מספרי

דירוג חומרת ענישה

סדר	דרגה	סוג עונש	ערכים גולמיים ממופים	פעולות

בחר חוק

ספק AI

	מספר סעיף	שם הסעיף	כינויים

ייבוא אוטומטי

מסך זה מנהל הגדרות ייבוא (תזמון, מקור, פרמטרים). לתצוגה חיה של ריצות פעילות והתור של court_downloader, ראה Worker חי .

רצות אוטומטית בתזמון קבוע 0

לחיצה על שורה מציגה את הריצות האחרונות

שם / תחום	מקור	תדירות	מצב	ריצה אחרונה	ייבוא אחרון	פעולות

הפעלה ידנית בלבד 0

שם / תחום	מקור	תדירות	מצב	ריצה אחרונה	ייבוא אחרון	פעולות

ייבוא נתונים חיצוניים

העלאת קובץ Excel/CSV עם רשימת שדות ביחס לכל תיק. הנתונים נשמרים בטבלה נפרדת (external_dataset_rows) ומחוברים למסמכים לפי עמודה שתבחר (כברירת מחדל: case_number). יחס 1:N נתמך — תיק עם כמה שורות יקבל כמה רשומות.

שם	מזהה (key)	תחום	עמודת מזהה	שורות	תואמו	לא תואמו	תאריך ייבוא	פעולות

קובץ (XLSX / CSV)

תחום (Scope)

עמודת חיבור ב-Document

שם תצוגה

מזהה (key) — ייחודי

משמש לייבוא חוזר ולקישור פרוגרמטי. אותיות אנגלית/מספרים/קו תחתון.

תיאור (אופציונלי)

עמודת מזהה בקובץ

5 שורות ראשונות מהקובץ:

עמודות לדילוג (לא יישמרו ב-payload):

מיפוי רכיבי ענישה (פירוק payload לטבלת רכיבים)

הגדר מיפוי בפורמט JSON: type_column = שם העמודה שמכילה את סוג העונש; value_columns = רשימת עמודות עם כמות + יחידה. כל שינוי במיפוי מפעיל בנייה מחדש של רכיבי הענישה לכל ה‑dataset. שמירת null מנקה את כל הרכיבים הקיימים.

{
  "type_column": "סוג",
  "value_columns": [
    {"key": "תקופה (חודשים)", "unit": "חודשים"},
    {"key": "סכום (ש\"ח)",      "unit": "ש\"ח"}
  ]
}

תור עיבוד LLM

#	מסמך	משתמש	ספק	סטטוס	עדיפות	המתנה	זמן עיבוד	נכנס לתור	התחיל	הסתיים	פעולה

משימות גירוד

טבלה זו מציגה את ההיסטוריה של משימות הגירוד. לתצוגה חיה בזמן-אמת של מה שרץ עכשיו וה-workers המחוברים, ראה Worker חי .

סוג	תיאור	סטטוס CD	סטטוס ייבוא	קבצים	מקור	בוקש	הושלם	פעולות

Worker חי

Workers פעילים 0

Worker ID	Caps	Last poll	Current job	User-Agent

רץ עכשיו 0

Type	CD job	Worker	פרמטרים	קבצים	התקדמות	שאילתות	DMS run	זמן

ממתינים בתור 0

#	Type	CD job	פרמטרים	DMS run	נוצר

משימות Workers

auto

Download

Extract (PDF → MD)

LLM

Workers שראינו לאחרונה

worker_id	stage	executor	פעיל עכשיו?	משימות	נראה לאחרונה	lease עד
טוען…

Download — משימות הורדה

#	doc	status	executor	worker_id	provider	payload	נוצר	סיים	משך	פעולות

Extract — המרה ל-MD

#	doc	status	executor	worker_id	extractor	chars	lease	נוצר	סיים	משך	פעולות

LLM — ניתוח AI

#	doc	status	executor	worker_id	provider	שגיאה	lease	נוצר	סיים	משך	פעולות

כפילויות

סימון רך — הסתרה במקום מחיקה חדש

מסמן כפילויות במקום למחוק אותן. השורות המסומנות נשארות ב־DB אך נעלמות מכל הממשקים למשתמש. כולל זיהוי לפי תוכן זהה — תופס מסמכים שבית המשפט מייצר מחדש כ־PDFים שונים אך עם טקסט זהה (כמו 88880/78531/59581 שלך).

תחום (ריק = הכל)

מקסימום קבוצות

file_hash

content_hash

מחיקה ישירה (מורשת)

	ID	קובץ	עמודים	טקסט	AI	תחום	תאריך העלאה

מבנה נתונים

טבלאות

טוען...

בונה שאילתות

טבלת בסיס

תנאים

מגבלה

אין תוצאות עדיין

מסלול המידע במערכת

מפה ויזואלית של כל מסלולי הקליטה והעיבוד — מהמקור (העלאה / יבוא / גירוד) ועד היעד הסופי (טבלאות, AI analysis, אזכורי חוק). כל שלב צבוע אחרת לפי סוג.

מקורות יבוא

מהיכן מסמכים מגיעים למערכת

העלאה ידנית

משתמש מעלה קובץ דרך המסך הראשי (drag-drop או דפדוף). פר קובץ, מקסימום 4 במקביל.

העלאה מרובה

דף ייעודי bulk-upload.html להעלאת מאות קבצים בבת אחת עם בדיקת כפילויות.

יבוא אוטומטי

גירוד תקופתי מאתרי בתי המשפט. רץ כל 60 שניות, מוגדר ב-import_source_config.

משימות גירוד

תור גירוד ידני — אדמין מבקש גירוד חד-פעמי של תקופה / סוג. נכנס לאותו worker.

נתונים חיצוניים (CSV/XLSX)

מטא-דאטה לשיוך למסמכים קיימים (לא קבצים). לא עובר LLM, רק שיוך לפי case_number וכו'.

Direct Import API

קלט מעיבוד מקדים חיצוני: קובץ + .md + metadata.json. אם ai_analysis כבר קיים — דילוג על LLM.

נקודות כניסה (HTTP / רקע)

הראוטר שמקבל את הקלט

POST /documents/upload

מקבל קובץ בודד. משמש העלאה ידנית, מרובה, ויבוא אוטומטי (קורא לעצמו אחרי גירוד).

start_import_worker()

Thread רקע שעולה ב-startup. בודק import_source_config כל 60 שניות, מוריד PDFים, ואז קורא ל-upload.

POST /admin/external-datasets

מקבל CSV/XLSX. שומר את השורות בטבלאות נפרדות, לא יוצר Document חדש ולא נוגע ב-LLM.

POST /api/direct-import

אדמין-בלבד. שומר קובץ + מטא-דאטה גמורה. אם יש ai_analysis מוכן — מדלג ישר ליעד הסופי.

אחסון גולמי

איפה נשמר הקובץ והשורה הראשונית

תיקיית uploads/

הקובץ המקורי (PDF / DOCX / וכו') נשמר על הדיסק. שם הקובץ: {user_id}_{timestamp}_{שם_מקורי}.

קובץ סיידקאר .md

הטקסט המחולץ מהקובץ נשמר כ-Markdown ליד הקובץ המקורי. נוצר אחרי שלב 5.

טבלת documents

שורת מסמך נוצרת מיידית: filename, file_path, owner_id, content_text, metadata_json.

activity_log (upload)

רישום audit מיידי על קליטת הקובץ — מי, מתי, איזה קובץ.

שיוך נתונים חיצוניים: מסלול CSV/XLSX לא יוצר שורה ב-documents — הוא שומר ב-external_datasets + external_dataset_rows ומחבר לדוקומנטים קיימים בזמן חיפוש.

תור עיבוד (processing_queue)

סדרור והקצאת priority

priority 0 — ידני

העלאה ידנית מהמסך הראשי. רץ קודם.

priority 5 — יבוא אוטומטי

גירוד בתי משפט / משימות גירוד.

priority 10 — מרובה

העלאה מרובה (bulk). רץ אחרון, לא חוסם משתמשים אחרים.

סטטוס pending → running → done/failed

retry עד 3 פעמים עם exponential backoff.

Worker רקע (3 threads)

חילוץ טקסט ובניית הקשר ל-LLM

1. Claim שורה

תפיסת שורת pending עם FOR UPDATE SKIP LOCKED כדי להבטיח שכל thread עובד על משהו אחר.

2. חילוץ טקסט

MarkItDown ל-PDF/DOCX/PPTX/XLSX. נפילה ל-OCR (Tesseract) ל-PDF סרוק. antiword ל-.doc ישן.

3. שמירת .md סיידקאר

הטקסט שחולץ נשמר ל-content_text ולקובץ .md ליד הקובץ המקורי.

4. run_document_workflow()

מפעיל את צינור ה-LLM. עובר לשלב 6.

צינור מודל שפה (DeepSeek / Gemini)

סיווג, זיהוי חוקים, ולולאת trigger

א. שלב בסיס

ה-PromptRule היחיד עם trigger_tag=NULL. סיווג ראשוני, חילוץ ישויות בסיסיות, ואזכורי חוק גולמיים.

ב. זיהוי חוקים

RapidFuzz fuzzy-match בין הטקסט הגולמי של החוקים לבין law_registry. מוסיף שם רשמי + ציון התאמה.

ג. שלב מותנה

PromptRule נוסף נורה אם trigger_tag שלו מופיע בתוצאה (למשל "סוג_מסמך = פס\"ד").

ד. לולאת trigger

תוצאה של trigger אחד יכולה להפעיל trigger נוסף. עד עומק 10.

יעדים סופיים

איפה התוצרים נשמרים — ניתנים לחיפוש

metadata_json.ai_analysis

תוצאת ה-LLM המובנית לפי הסכמה — בתוך שורת ה-document. זמין לחיפוש פרמטרי וחיפוש NL.

detected_field

כל מפתח JSON שזוהה (גם בעומק) — מאפשר ל"מאגר שדות" לדעת אילו שדות קיימים במערכת.

law_mention

כל אזכור חוק שזוהה — מקושר ל-document_id ול-law_registry_id. בסיס לדוח "מסמכים שמזכירים חוק X".

prompt_execution

audit מלא של כל קריאת LLM — איזה prompt, איזה מודל, כמה tokens, כמה זמן, הצלחה/כישלון.

activity_log

analysis_completed או analysis_failed. גלוי בלשונית "יומן פעילות".

processing_queue (סגירה)

השורה עוברת ל-done עם finished_at, או failed עם error_detail.

טבלת מסלולים — סיכום מהיר

מקור יבוא	נקודת כניסה	אחסון ראשוני	תור עיבוד?	LLM?	יעד סופי
העלאה ידנית מהמסך הראשי	`POST /documents/upload`	uploads/ + documents	כן — priority 0	כן	metadata_json.ai_analysis + detected_field + law_mention
העלאה מרובה (bulk-upload.html)	`POST /documents/upload` × N	uploads/ + documents	כן — priority 10	כן	זהה לעלאה ידנית
יבוא אוטומטי (גירוד בתי משפט)	worker רקע → `POST /documents/upload`	uploads/ + documents + import_run	כן — priority 5	כן	זהה + import_run / import_run_log
משימות גירוד (תור ידני)	worker רקע → `POST /documents/upload`	uploads/ + documents	כן	כן	זהה לעלאה ידנית
יבוא נתונים חיצוניים (CSV/XLSX)	`POST /admin/external-datasets`	external_datasets + external_dataset_rows	לא	לא	שיוך בזמן חיפוש לפי join_target_column
Direct Import API (עיבוד מקדים חיצוני)	`POST /api/direct-import`	uploads/ + documents (כולל ai_analysis)	רק אם חסר ai_analysis	רק אם חסר	metadata_json מלא ישר מהקלט

שלבי עיבוד פנימיים

קליטה: שמירת קובץ ב-uploads/, יצירת שורת documents, רישום activity_log.
הכנסה לתור: processing_queue עם priority (0=ידני, 5=יבוא אוטומטי, 10=מרובה).
Worker רקע: 3 threads, claim עם FOR UPDATE SKIP LOCKED.
חילוץ טקסט: MarkItDown לפורמטים שונים, OCR ל-PDF סרוק, antiword ל-.doc ישן.
שלב בסיס LLM: PromptRule עם trigger_tag=NULL — סיווג ראשוני.
זיהוי חוקים: fuzzy match (RapidFuzz) של אזכורי חוק מול LawRegistry → law_mention.
לולאת מותנים: כללי trigger_tag+value נקראים שוב ושוב עד עומק 10.
גילוי שדות: כל מפתח JSON שזוהה נכנס ל-detected_field.
סגירה: processing_queue עובר ל-done/failed, activity_log analysis_completed.

טבלאות מפתח שמתעדכנות

documents — רשומה ראשית פר מסמך (תוכן + metadata_json)
processing_queue — תור עיבוד (transient)
detected_field — שדות JSON שזוהו אוטומטית
law_mention — אזכורי חוק מחוברים מול LawRegistry
law_registry — מאגר חוקים רשמי (קבוע)
prompt_execution — תיעוד כל קריאת LLM (tokens, מודל, זמן)
activity_log — יומן פעילות מלא
import_source_config + import_run — הגדרות וריצות גירוד
external_datasets + external_dataset_rows — שיוך CSV/XLSX

יומן פעילות

תאריך ושעה	סוג אירוע	פרטים	📱	משתמש	מסמך

השוואת מודלים

#	שם	סטטוס	מסמכים	טוקנים DS	טוקנים GM	נוצר	פעולות

DeepSeek - - טוקנים | - זמן ממוצע | - קריאות

Gemini - - טוקנים | - זמן ממוצע | - קריאות

מסמך	DS סטטוס	GM סטטוס	DS טוקנים	GM טוקנים	DS זמן	GM זמן	השוואה

מסמכים אחרונים

#	שם קובץ / תיק	בית משפט	תאריך מסמך	תאריך העלאה	תחום	עמ'

בחר שדות להצגה

טוען שדות...

סינון

שאילתת SQL

SELECT בלבד · 15 שניות תקרת ביצוע · עמודות id/doc_id/document_id יוצגו כקישור + תתווסף עמודת document_url

ללא מגבלה (לייצוא)

שאילתות לדוגמה

סטטוס

—

זמן ריצה

—

מספר שורות

—

SQL שרץ

—

שאילתות אחרונות

שאילתות שמורות

הגדרות שאילתה

מקסימום שורות במסך

מגבלה רק על תצוגת התוצאות במסך — אינה משפיעה על ייצוא CSV. טווח: 1–5,000.

תקרת זמן ריצה (שניות)

מגבלת PostgreSQL statement_timeout. שאילתות אנליטיות כבדות (CTE, רגקס, JOIN על נאשמים) דורשות יותר. טווח: 5–600 שניות.

הפעל אוטומטית בעת בחירה מהיסטוריה

כשפעיל, לחיצה על שאילתה מהיסטוריה תריץ אותה מיד במקום רק לטעון אותה לעורך.

סוגר את כל טאבי השאילתה הפתוחים ומשאיר טאב ריק אחד.

סכמת מסד

טוען...

הגדרות מערכת

אזור זמן

כל התאריכים והשעות במערכת יוצגו לפי אזור הזמן שנבחר.

מכסת העלאות ברירת מחדל

מכסה שתוחל אוטומטית על משתמשים חדשים בעת הרשמה.
0 = ללא הגבלה | −1 = חסימת העלאות | N = מספר מסמכים מקסימלי

מנגנוני חיפוש חכם

הפעלה או כיבוי של מנגנונים שמשפרים את החיפוש החכם (NL Search).

התאמה חלקית ברשימות (contains_match)
חיפוש חלקי בתוך פריטי רשימה — למשל "פרטיות" ימצא "הפרת פרטיות"

הרחבת סינונימים (match_any)
חיפוש עם מספר ניסוחים חלופיים בעברית — OR בין מילים נרדפות

הרחבת טקסט אוטומטית (text fallback)
כשיש פחות מ-5 תוצאות, מרחיב אוטומטית עם חיפוש טקסט מלא

בקרת רוחב חיפוש (broadness toggle)
מאפשר למשתמשים לבחור בין חיפוש מדויק / רגיל / רחב

כפתורי הרחב/צמצם (broaden/narrow)
כפתורים אחרי חיפוש חכם להרחבה או צמצום מיידי של התוצאות

עריכת דף אודות

התוכן שתכתוב כאן יוצג בדף האודות וכתנאי שימוש בכניסה ראשונה. שינוי התוכן מעלה את הגרסה ודורש אישור מחדש מכל המשתמשים. ניתן להשתמש ב-HTML.

עריכה (HTML)

תצוגה מקדימה

עריכת הקדמה — דף "איך זה עובד?" צפה בדף

הטקסט שתכתוב כאן יוצג בראש דף ההסבר הפומבי. שאר הדף (מתודולוגיה, השוואות, דוגמאות) הוא סטטי. ניתן להשתמש ב-HTML.

עריכה (HTML)

תצוגה מקדימה

עריכת סרטוני הדגמה

הגדר עד 4 סרטוני YouTube שיוצגו במודל ההדגמה. ניתן להשאיר חלקם ריקים.

טוען...

משוב מהמשתמשים

טוען...

שאילתות חיפוש חכם

יצוא חומר אימון

טוען...

שאילתה:

מה שה-AI יצר

פילטרים:

הפילטרים הנכונים (עריכה)

Scope: לוגיקה:

הערות (למה זה הנכון):

שם הכלל

מפתח הפעלה (Trigger Key)

נתיב שדה JSON מפלט ה-LLM. השאר ריק לכלל בסיסי (רץ על כל המסמכים).

ערך הפעלה (Trigger Value)

הערך להתאמה. תומך בהתאמה מדויקת וחברות ברשימה.

תחום (Scope)

הכלל יפעל רק על מסמכים בתחום שנבחר. השאר ריק לכלל גלובלי.

טקסט הפרומפט

מקסימום טוקנים

מספר מקסימלי של טוקנים בתגובת ה-LLM. ברירת מחדל: 2000.

מודל LLM (אופציונלי)

בחר מודל ספציפי לכלל זה. השאר ריק לשימוש במודל ברירת המחדל של הספק.

סכמת JSON (אופציונלי)

תאר את מבנה ה-JSON הצפוי לתגובת ה-LLM. השאר ריק לתגובה חופשית.

שדות חוקים לזיהוי אוטומטי

הגדר נתיבי שדות (dot-notation) בפלט הפרומפט שמכילים שמות חוקים. המערכת תזהה אותם אוטומטית מול מאגר החוקים.

פעיל

שם (לזיהוי)

חיבור

בודק חיבור...

תחום *

סוג מקור

פרמטרי חיפוש

בתי משפט

מתאריך

עד תאריך

עד היום (דינמי)

סוג הליך

סוג החלטה

סוגי תיק נטען לפי סוג הליך

סוג עניין נטען לפי סוג תיק

תזמון

תדירות בדיקה (שעות)

חיפוש אחורה — ריצות אוטומטיות (ימים)

אם מוגדר, ריצות אוטומטיות יחפשו תמיד N ימים אחורה (מומלץ: 3). ריצות ידניות ימשיכו להשתמש בטווח התאריכים.

עדיפות (0–100)

נמוך = ראשון בתור (כמו Unix nice). 50 ברירת מחדל. דחוף → 30. רקע → 70.

ספק AI

מופעל

#	התחלה	סיום	סטטוס	נמצאו	הורדו	יובאו	דולגו	שגיאה	פעולות

לוח בקרה

הגדרות משתמש

ניהול תחומים

כללי ניתוח

ניהול שדות מערכת

מאגר חוקים

מאגר סעיפים

איחוד ערכים

ערכים קיימים

טיוב נתונים

דירוג חומרת ענישה

הוסף סוג עונש

הוסף תחום

הוסף סעיף

ייצור סעיפים אוטומטי (AI)

ייבוא אוטומטי

בדיקת סיכוני סריקה רחבה

רצות אוטומטית בתזמון קבוע 0

הפעלה ידנית בלבד 0

ייבוא נתונים חיצוניים

ייבוא נתונים חיצוניים

5 שורות ראשונות מהקובץ:

עמודות לדילוג (לא יישמרו ב-payload):

פרטי דאטה-סט

תור עיבוד LLM

משימות גירוד

Worker חי

משימות Workers

כפילויות

מחיקה ישירה (מורשת)

מבנה נתונים

מסלול המידע במערכת

מקורות יבוא

נקודות כניסה (HTTP / רקע)

אחסון גולמי

תור עיבוד (processing_queue)

Worker רקע (3 threads)

צינור מודל שפה (DeepSeek / Gemini)

יעדים סופיים

יומן פעילות

השוואת מודלים

הפעלת השוואה חדשה

השוואת תוצאות

מסמכים אחרונים

בחר שדות להצגה

סינון

שאילתת SQL

שאילתות אחרונות

שאילתות שמורות

הגדרות שאילתה

הגדרות מערכת

אזור זמן

מכסת העלאות ברירת מחדל

מנגנוני חיפוש חכם

עריכת דף אודות

עריכת הקדמה — דף "איך זה עובד?" צפה בדף

עריכת סרטוני הדגמה

משוב מהמשתמשים

שאילתות חיפוש חכם

תקינות עיבוד לתחום

קישור שאילתה לפילטרים נכונים

פרטי משוב

הוסף כלל ניתוח

יצירת כלל ניתוח עם AI

הוסף שדה

הוסף חוק

הגדרת ייבוא חדשה

חיבור

פרמטרי חיפוש

תזמון

היסטוריית ריצות

לוג ריצה