נולד ב-15 ביולי 1924, י"ג בתמוז תרפ"ד, בנוביזמקי (נובה-זמקי) שבצ'כוסלובקיה, בן ליוסף והלנה. בצעירותו קיבל חינוך ברוח ישראל, ובגיל עשר נשלח ללימודים בגימנסיה העברית במונקאץ'. באותה שנה גם הצטרף לבית"ר, שם עוצבה מחשבתו הלאומית.
ב-1943, לאחר מות אביו, נסע יעקב לבודפשט במטרה לעלות ממנה לארץ ישראל. בהונגריה פעל להצלת יהודים. הוא התחפש לקצין צבא הונגרי ולעתים לקצין אס אס בשם ג'רג'י קוטיש, היה מגיע למשרדי רישום ממשלתיים, שם דרש תעודות לידה של אנשים שאת שמם המציא. את פעילותו ריכז בערים המופצצות שם היה בלבול ממשלתי רב. כשהיו עוזבים הפקידים את חדריהם כדי לחפש בארכיונים היה "מושך" טופסי תעודות לידה ודרכונים. את הטפסים היה ממלא בפרטים אישיים של יהודים, רושם אותם כנוצרים, וכך מחלצם מתחום הגטו. לאחר מכן היה הולך לגטאות, מצביע על יהודים שעמדו בהמון ודורש ממפקד המחנה לשחררם בשל היותם "נוצרים". נוסף לכך, יעקב יצר קשר עם מוסדות הצלב האדום ושגרירויות זרות ובעזרתם סיפק ניירות מזויפים ליהודים רבים. הוא הכין ניירות כאלה גם לאמו ולאחותו אך איחר את המועד שכן השתים כבר היו בדרכן למחנה ההשמדה של אושוויץ. האם הובלה לכבשנים והבת נשלחה לעבודה. בפעמים אחרות, בעת התפרצות מגפת טיפוס בקרב היהודים, היה עובר במדי אס-אס בין המחנות ומחלק זריקות ליהודים. כך בהיותו בן עשרים בלבד הציל מאות יהודים בגטאות דברצן, קושיצה, אגר, מישקולץ ועוד. כדי למלא את השליחות בהצלחה, היה עליו להיות בעל שליטה עצמית גבוהה ועמידה תקיפה. מסופר עליו כי פעם בעלותו לרכבת החשמלית נפלה מתיקו חבילה של פספורטים. שוטר הגיע לעצור אותו ולחקור בעניין, אך וייס פקד עליו בקור רוח: "עזור לי מיד לאסוף את התעודות, עליי להספיק לחשמלית", והשוטר הנדהם ציית. שנים אחר כך, בארץ ישראל, קרה לא אחת כי היה אדם נופל על צווארו, מנשקו ומודה לו; היו אלה הניצולים "שלו".
בקיץ 1944 עבר לשווייץ במסגרת ועד ההצלה, והיה שם שמונה חודשים בקבוצת הכשרה חקלאית. במכתב לחבריו כתב כי הוא מעדיף להיות פועל כפיים בארץ ישראל מאשר סטודנט בנכר. ב-1945 עלה עם מספר מחבריו באוניית מעפילים לארץ ישראל. האונייה נתפסה, ונוסעיה נכלאו לזמן מה במחנה המעצר בעתלית, עד לשחרורם בכוח, של 200 מהכלואים על ידי הפלמ"ח ב-9 באוקטובר 1945.
בארץ נודע לו כי אמו ומשפחתו הגדולה (שמנתה למעלה מ-200 איש) נרצחו באושוויץ ובמאוטהאוזן; כך כתבה לו אחותו שהייתה אף היא באושוויץ. רוחו של וייס נדכאה, אך הוא המשיך ללא לאות בפועלו. לאחר שחרורו עבר לנתניה וגר ברחוב העלייה, שם החל לעבוד למחייתו בעבודות כפיים וללמוד ליטוש יהלומים תוך שהוא מצטרף לאצ"ל, בנוסף על פעילותו בבית"ר. את זמנו לארגונים הציוניים הקדיש בערבים לאחר שעות העבודה.
במסגרת פעילותו במחתרת האצ"ל, בה כונה "שמעון", השתתף בפעולות רבות - ביניהן שתי ההתקפות על מחנה הנופש הצבאי הבריטי בנתניה (באחת השתתף גם דב גרונר), פיצוץ הגשר בנתניה - בית-ליד, פגיעה במהלך הרכבות, וכן מיקוש כבישים בזמן שהבריטים הטילו מצב צבאי על היישוב היהודי. ב-4 במאי 1947 השתתף בפריצה לכלא עכו ובשחרור 27 הלוחמים הכלואים שם. בעמדת-חיפוי יחד עם אבשלום חביב ומאיר נקר, ובקרב שהתפתח אחר ביצוע הפעולה נפלו השלושה בשבי. במבצע זה נפלו בשבי עוד שני לוחמי אצ"ל נוספים, והחמישה הועמדו למשפט צבאי. במשפטו נשא וייס נאום האשמה נגד השלטון הבריטי:
"... מי שמכם שליטים שופטים על עם שנתן לאנושות את אלוהי הצדק והמשפט, בזמן שאבותיכם עדיין שכנו ביערות עד? אך הנה מתקרב שלטונכם לקיצו. פרעתם, גירשתם, איימתם ואף זאת עשיתם: רצחתם עברים, העליתם לגרדום את טובי הנוער העברי. והתוצאה? את רוח ההתנגדות העברית לא זו בלבד שלא הצלחתם לשבור, אלא להפך: לנגד עיניכם, על אף הגרדום ואולי תודות לגרדום, היא הולכת וגוברת..."
בפראג, קיבלה אחותו אדית טלגרמה אודות המשפט וגזר הדין, ומיד ביקשה ויזה לנסיעה לישראל. כאן נפגשה עם מפקד הצבא אך תחנוניה לא הועילו. האצ"ל ניסה להציל את השלושה, בין היתר על ידי חטיפת שני סרג'נטים (סמלים) בריטיים כבני ערובה, אך ללא הועיל. ב-י"ב באב תש"ז, 29 ביולי 1947, הועלו שלושתם לגרדום כשהם שרים את שירת "התקווה", ההמנון הלאומי של הציונות. בתגובה למחרת האצ"ל תלה את שני הסרג'נטים הבריטיים בחורשה סמוכה לנתניה. יעקב וייס נטמן עם שני חבריו בצפת.
על שמו קרויים רחובות בירושלים, תל אביב, באר שבע, נתניה ועוד.