היסח הדעת מציץ הזהב

האיסור להסיח את הדעת מהתפילין נלמד, בדברי רבה בר רב הונא, מהאיסור להסיח את הדעת מציץ הזהב, ואיסור זה נלמד מהפסוק "והיה על מצחו תמיד".
אני לא מבין איך האיסור נלמד מהפסוק; לדעתי אפשר להסיק מפסוק זה את ההיפך, שהרי הכהן הגדול לא יכול לחשוב על הציץ בכל רגע - הוא חייב לעסוק גם בעניינים אחרים, ואם בכל-זאת התורה ציוותה שהציץ יהיה על מצחו תמיד - מוכח מכאן שהוא צריך להשאיר את הציץ על מצחו, גם כאשר הוא עוסק בעניינים אחרים!
והמסקנה מכאן לגבי תפילין היא, שמותר לאדם להיות עם תפילין גם כאשר הוא עוסק בעניינים אחרים!